Winnie-the-Pooh 768 Boyutta: YDB Üzerinde Codex Evcil Hayvanları için Anlamsal Arama
Яндекс
Bir geliştirici, YDB'de saklanan gömme vektörlerini kullanarak Codex Evcil Hayvanları kataloğu için anlamsal bir arama sistemi geliştirdi. Sistem, sözcüksel, metinsel anlamsal ve görsel anlamsal sıralamaları birleştiriyor. Testler, yalnızca sözcüksel aramaya kıyasla NDCG ve Recall metriklerinde iyileşme olduğunu gösteriyor.
Codex Pets kataloğu, AI ajanlarına eşlik eden 153 onaylı animasyonlu evcil hayvan içermektedir. Katalog büyüdükçe, etiket tabanlı arama pratik olmaktan çıktı ve tam etiketler yerine görünümle tanımlanan evcil hayvanları bulmakta başarısız oldu. Yazar anlamsal aramayı uyguladı: metin alanları (isim, açıklama, etiketler) 768 boyutlu vektörlere kodlanır ve çok modlu bir model, seçilen dört animasyon karesi için açıklamalar üretir ve bunlar da vektörleştirilir. YDB vektörleri saklar ve Knn::CosineSimilarity ile kosinüs benzerliğini hesaplar. Gömme, açıklama, öneriler ve sürümleme için dört yeni tablo eklendi. Arama, üç sıralanmış listeyi Ağırlıklı Karşılıklı Sıra Füzyonu kullanarak birleştirir; sözlüksel ve metinsel ağırlıklar 1, görsel ağırlık ayarlanmıştır. Görsel dal bağımsız olarak başarısız olabilir ve sözlüksel sonuçlara geri döner. Testler, anlamsal aramanın tüm 14 sorgu setinde NDCG@5'i 0,539'dan 0,724'e ve Recall@5'i 0,528'den 0,743'e iyileştirdiğini gösterdi.
Kaynak: Habr — хаб ML —
orijinal
