Evaluación de Recuerdo Causal Externo: Prueba de Memoria de Asistente de IA en YDB de Yandex
Яндекс
Se ejecutó una evaluación de recuerdo causal en el repositorio de código abierto YDB (ydb-platform/ydb) para medir qué tan bien un asistente de IA recupera correcciones pasadas para síntomas similares. La búsqueda semántica por sí sola encontró la solicitud de extracción correcta en el 32.1% de los casos, mientras que recorrer los bordes causales explícitos (problema -> solicitud de extracción de cierre) logró un 94.5%, mostrando una contribución del gráfico de +62.5 puntos porcentuales. El patrón se replica independientemente del idioma, dominio o cultura de tickets.
Los autores construyeron un benchmark de recuperación causal en el repositorio público ydb-platform/ydb (10 285 issues, 37 067 PR, C++, inglés). Extrajeron pares de oro utilizando el patrón de GitHub Closes/Fixes/Resolves #N (293 pares válidos después de filtrar PR de bots como ydbot y github-actions). Para cada consulta (título del issue), se compararon dos métodos de recuperación: (a) similitud coseno semántica top-32 usando embeddings MiniLM multilingüe, y (b) recorrido de aristas causales desde las mismas semillas hasta profundidad 3. La recuperación semántica fue del 32.1% (94/293), la recuperación causal fue del 94.5% (277/293), lo que arroja una contribución del grafo de +62.5 puntos porcentuales. Los autores enfatizan que el resultado clave no son los números exactos sino el patrón reproducible: la similitud semántica de palabras por sí sola alcanza un máximo de aproximadamente un tercio, mientras que los enlaces causales explícitos aumentan drásticamente la recuperación. Proporcionan todos los pares de oro y un método de 6 pasos para permitir la replicación independiente. El trabajo también señala hallazgos incidentales: 143 PR creados por agentes de IA (principalmente GitHub Copilot) y 173 PR de reversión, lo que ilustra que los problemas de memoria son reales.
Fuente: Habr — хаб ИИ —
original