Quand la signature ne suffit pas : clarifier la « zone grise » de la recherche d’images
Яндекс
Yandex Images a amélioré la pertinence de ses résultats en recourant à des modèles multimodaux qui analysent conjointement l’image et le texte. Ils ont commencé avec un modèle de vision-langage (VLM) lourd, l’ont distillé en modèles plus légers pour chaque étape du pipeline, et ont augmenté de 5 % le nombre d’images pertinentes dans les premiers résultats.
Le classement des images sur Yandex reposait historiquement sur deux signaux distincts : la pertinence image-texte (i2t) et texte-texte (t2t), mais cette approche peinait dans la « zone grise » où ces signaux étaient en désaccord. L'équipe, dirigée par Konstantin Nikolaev, a d'abord construit un VLM multimodal qui traite conjointement l'image et le texte, mais il s'est avéré trop lent pour un classement en temps réel. Ils l'ont distillé en un ensemble de modèles plus légers : un encodeur bidirectionnel nommé vBERT, un bi-encodeur, un encodeur de plongement (embedder) et un cross-encodeur léger (LCE). L'encodeur de plongement est utilisé pour la génération de candidats avec un index HNSW, le bi-encodeur pour le classement préliminaire, et le LCE pour le reclassement final. Ces modèles ont été ajoutés comme facteur supplémentaire à l'ensemble existant, sans le remplacer. Les changements ont entraîné une augmentation de 4 % des images pertinentes en tête de liste grâce au bi-encodeur et au cross-encodeur, et de 5 % au total en incluant l'encodeur de plongement. L'idée clé a été de calculer les plongements de documents hors ligne et de ne calculer que le côté requête et l'agrégation en temps réel, ce qui a permis un traitement en temps réel avec des dizaines de milliers de requêtes par seconde.
Source: Habr — хаб ML —
original