Benchmark de Recordação Causal Externa: Testando a Memória do Assistente de IA no YDB da Yandex

Os autores construíram um benchmark de recall causal no repositório público ydb-platform/ydb (10.285 issues, 37.067 PRs, C++, inglês). Eles extraíram pares dourados usando o padrão do GitHub Closes/Fixes/Resolves #N (293 pares válidos após filtrar PRs de bots de ydbot e github-actions). Para cada consulta (título da issue), dois métodos de recuperação foram comparados: (a) similaridade semântica de cosseno top-32 usando embeddings MiniLM multilíngues, e (b) travessia de arestas causais a partir das mesmas sementes até a profundidade 3. O recall semântico foi de 32,1% (94/293), o recall causal foi de 94,5% (277/293), resultando em uma contribuição do grafo de +62,5 pontos percentuais. Os autores enfatizam que o resultado chave não são os números exatos, mas o padrão reproduzível: a similaridade semântica de palavras sozinha atinge no máximo um terço, enquanto links causais explícitos aumentam drasticamente o recall. Eles fornecem todos os pares dourados e um método de 6 etapas para permitir replicação independente. O trabalho também observa descobertas incidentais: 143 PRs criados por agentes de IA (principalmente GitHub Copilot) e 173 PRs de reversão, ilustrando que problemas de memória são reais.