外部因果想起ベンチマーク：YandexのYDBにおけるAIアシスタント記憶のテスト

著者らは、公開リポジトリ ydb-platform/ydb（Issue 10,285件、PR 37,067件、C++、英語）上で因果関係の再現率ベンチマークを構築した。GitHubの「Closes/Fixes/Resolves #N」パターンを用いてゴールドペアを抽出し（ydbotやgithub-actionsなどボットによるPRを除外後、有効なペアは293件）、各クエリ（Issueのタイトル）に対して2つの検索手法を比較した。(a)多言語MiniLM埋め込みを用いた意味的コサイン類似度上位32件、(b)同一シードからの因果エッジを深さ3まで辿る方法である。意味的再現率は32.1%（94/293）、因果的再現率は94.5%（277/293）であり、グラフによる寄与は+62.5パーセントポイントであった。著者らは、重要な結果は正確な数値そのものではなく、再現可能なパターン、すなわち意味的な単語類似度だけでは約3分の1が限界である一方、明示的な因果リンクにより再現率が劇的に向上する点にあると強調している。彼らは完全なゴールドペアと6段階の手法を提供し、独立した再現を可能にしている。また、付随的な発見として、AIエージェント（主にGitHub Copilot）による143件のPRと、173件のリバートPRが存在し、メモリの問題が現実のものであることを示している。