署名だけでは不十分：画像検索における「グレーゾーン」の解消

Yandex Imagesはこれまで、文書のランキングに画像とテキストの関連性（i2t）とテキストとテキストの関連性（t2t）という2つの別々のシグナルを使用していましたが、これらのシグナルが一致しない「グレーゾーン」ではこのアプローチに問題がありました。Konstantin Nikolaev率いるチームはまず、画像とテキストを一緒に処理するマルチモーダルVLM（視覚言語モデル）を構築しましたが、リアルタイムのランキングには遅すぎました。そこで、このモデルを、双方向エンコーダーであるvBERT、バイエンコーダー、エンベッダー、軽量クロスエンコーダー（LCE）という、より軽量なモデル群に蒸留しました。エンベッダーはHNSWインデックスを用いた候補生成に、バイエンコーダーは暫定ランキングに、LCEは最終リランキングに使用されます。これらのモデルは、既存のアンサンブルを置き換えるのではなく、追加の要素として組み込まれました。その結果、バイエンコーダーとクロスエンコーダーにより上位の関連画像が4%増加し、エンベッダーを含めると合計で5%増加しました。重要な点は、文書のエンベッディングをオフラインで計算し、クエリ側と集約のみをランタイムで計算することで、毎秒数万のクエリを処理するリアルタイム処理を可能にしたことです。