Winnie-the-Pooh en 768 Dimensiones: Búsqueda Semántica para las Mascotas de Codex en YDB
Яндекс
Un desarrollador construyó una búsqueda semántica para el catálogo de Mascotas de Codex utilizando embeddings almacenados en YDB. El sistema combina rankings léxicos, semánticos textuales y semánticos visuales. Las pruebas muestran mejoras en las métricas NDCG y Recall en comparación con la búsqueda léxica por sí sola.
El catálogo de Codex Pets contiene 153 mascotas animadas aprobadas que acompañan a los agentes de IA. A medida que el catálogo creció, la búsqueda basada en etiquetas se volvió poco práctica, fallando al encontrar mascotas descritas por apariencia en lugar de etiquetas exactas. El autor implementó búsqueda semántica: los campos de texto (nombre, descripción, etiquetas) se codifican en vectores de 768 dimensiones, y un modelo multimodal genera subtítulos para cuatro fotogramas de animación seleccionados que también se vectorizan. YDB almacena los vectores y calcula la similitud coseno mediante Knn::CosineSimilarity. Se agregaron cuatro nuevas tablas para manejar incrustaciones, subtítulos, recomendaciones y versionado. La búsqueda fusiona tres listas clasificadas utilizando Weighted Reciprocal Rank Fusion, con pesos léxicos y textuales de 1 y un peso visual ajustado. La rama visual puede fallar de forma independiente, recurriendo a resultados léxicos. Las pruebas mostraron que la búsqueda semántica mejora NDCG@5 de 0.539 a 0.724 y Recall@5 de 0.528 a 0.743 en el conjunto completo de 14 consultas.
Fuente: Habr — хаб ML —
original