Saat Tanda Tangan Tidak Cukup: Menjernihkan 'Zona Abu-Abu' dalam Pencarian Gambar
Яндекс
Yandex Images meningkatkan relevansi dengan menggunakan model multimodal yang menganalisis gambar dan teks secara bersamaan. Mereka memulai dengan VLM (Vision Language Model) yang berat, menyulingnya menjadi model yang lebih ringan untuk setiap tahap pipeline, dan meningkatkan gambar relevan di hasil teratas sebesar 5%.
Peringkat gambar di Yandex Images secara historis menggunakan dua sinyal terpisah: relevansi gambar-ke-teks (i2t) dan teks-ke-teks (t2t), tetapi pendekatan ini kesulitan dalam 'zona abu-abu' di mana kedua sinyal tersebut tidak sejalan. Tim yang dipimpin oleh Konstantin Nikolaev pertama kali membangun VLM multimodal yang memproses gambar dan teks secara bersamaan, tetapi terlalu lambat untuk peringkat waktu nyata. Mereka menyulingnya menjadi serangkaian model yang lebih ringan: encoder dua arah yang disebut vBERT, bi-encoder, embedder, dan light cross-encoder (LCE). Embedder digunakan untuk pembuatan kandidat dengan indeks HNSW, bi-encoder untuk peringkat draf, dan LCE untuk peringkat ulang akhir. Model-model ini ditambahkan sebagai faktor tambahan pada ansambel yang ada, bukan menggantikannya. Perubahan ini menghasilkan peningkatan 4% pada gambar relevan di posisi teratas dari bi-encoder dan cross-encoder, serta 5% total termasuk embedder. Wawasan kuncinya adalah menghitung embedding dokumen secara offline dan hanya menghitung sisi kueri serta agregasi pada saat runtime, memungkinkan pemrosesan waktu nyata dengan puluhan ribu kueri per detik.
Sumber: Habr — хаб ML —
asli