जब सिग्नेचर पर्याप्त नहीं होता: इमेज सर्च में 'ग्रे ज़ोन' को साफ करना

Yandex Images ऐतिहासिक रूप से दो अलग-अलग संकेतों का उपयोग करके दस्तावेज़ों को रैंक करता था: इमेज-टू-टेक्स्ट (i2t) और टेक्स्ट-टू-टेक्स्ट (t2t) प्रासंगिकता, लेकिन यह दृष्टिकोण 'ग्रे ज़ोन' में संघर्ष करता था जहाँ ये संकेत असहमत थे। Konstantin Nikolaev के नेतृत्व में टीम ने पहले एक मल्टीमॉडल VLM बनाया जो इमेज और टेक्स्ट को एक साथ संसाधित करता है, लेकिन यह वास्तविक समय रैंकिंग के लिए बहुत धीमा था। उन्होंने इसे हल्के मॉडलों के एक सेट में आसवित किया: एक द्विदिशात्मक एनकोडर जिसे vBERT कहा जाता है, एक बाय-एनकोडर, एक एम्बेडर, और एक लाइट क्रॉस-एनकोडर (LCE)। एम्बेडर का उपयोग HNSW इंडेक्स के साथ उम्मीदवार पीढ़ी के लिए किया जाता है, बाय-एनकोडर ड्राफ्ट रैंकिंग के लिए, और LCE अंतिम पुनः रैंकिंग के लिए। इन मॉडलों को मौजूदा एन्सेम्बल में एक अतिरिक्त कारक के रूप में जोड़ा गया था, इसे प्रतिस्थापित नहीं किया। परिवर्तनों के परिणामस्वरूप बाय-एनकोडर और क्रॉस-एनकोडर से शीर्ष पर प्रासंगिक इमेज में 4% की वृद्धि हुई, और एम्बेडर सहित कुल 5%। मुख्य अंतर्दृष्टि यह थी कि दस्तावेज़ एम्बेडिंग की गणना ऑफ़लाइन की जाए और केवल क्वेरी-पक्ष और समुच्चयन रनटाइम पर किया जाए, जिससे प्रति सेकंड दसियों हज़ार क्वेरी के साथ वास्तविक समय प्रसंस्करण सक्षम हो।