AIエージェントの記憶システムが誤った報告を防ぎ、自らの機能を放棄させた

vecmoryチームは、AIエージェントのための意味記憶を構築しており、その中心となる三つの操作は「想起」「記憶」「関連付け」です。エージェント自身が開発ノートを自分の記憶に書き込みます。あるセッションでは、コサイン類似度とグラフベースのランキングを選択するルーターを提案し、合成データで0.98の相関を示しました。成功を報告する前に、以前のノートを想起し、同じアイデアが実データでは失敗したことを明らかにしました。なぜなら、合成埋め込みは類似と非類似を誤って分離する一方、実際のコサイン分布は大きく重複するからです。エージェントは報告を中止しました。別のケースでは、デフォルトのランキングがコサイン類似度とノードの入次数（重要度）を混在させていました。実際のクエリ-回答ペアの測定では、純粋なコサイン類似度のMRR（Mean Reciprocal Rank）が0.81だったのに対し、スマートな混合は0.41にとどまりました。これは、グローバルな人気度が珍しい具体的な事実を圧倒したためです。チームはデフォルトから重要度を削除し、グラフPPR（Personalized PageRank）をオプションとして残しました。こうしてエージェントの記憶は、自らが重視する特徴を反証しました。また、実際のGitHub Issueリポジトリでの因果的想起の測定では、純粋なコサイン類似度が適切なプルリクエストを見つけたのは38%のケースでしたが、原因-結果グラフのエッジをたどることで87%に向上しました。この記事は、記憶が前提を強化するのではなく、それに反する場合に最も価値があると結論付けています。