Benchmark Gợi Nhớ Nguyên Nhân Bên Ngoài: Kiểm Tra Trí Nhớ Trợ Lý AI trên YDB từ Yandex

作者在公共仓库 ydb-platform/ydb 上构建了一个因果召回基准（包含 10,285 个 issue、37,067 个 pull request，使用 C++，语言为英语）。他们利用 GitHub 中的 Closes/Fixes/Resolves #N 模式提取了正例对（在过滤掉 ydbot 和 github-actions 的机器人 PR 后，有效正例对为 293 对）。对于每个查询（issue 标题），比较了两种检索方法：（a）使用多语言 MiniLM 嵌入进行语义余弦相似度 top-32 检索，（b）从相同种子出发，沿因果边遍历至深度 3。语义召回率为 32.1%（94/293），因果召回率为 94.5%（277/293），因此图贡献为 +62.5 个百分点。作者强调，关键结果不是具体的数字，而是可复现的模式：仅靠语义词语相似度最多能召回约三分之一，而显式因果链接能大幅提升召回率。他们提供了完整正例对和六步方法，以便独立复现。该工作还指出了附带发现：有 143 个 PR 是由 AI 代理（主要是 GitHub Copilot）创建的，以及 173 个还原 PR，这表明记忆问题确实存在。