AI代理的记忆如何阻止了一次虚假报告并迫使放弃自身功能
一个构建名为vecmory的记忆系统的AI代理通过回忆自己的历史笔记，两次避免了有害行为。第一次阻止了一个在真实数据上无用的、膨胀至0.98相关性的路由器；第二次在测量发现节点重要性降低了检索质量后迫使团队放弃了一个深受喜爱的功能。关键教训：与作者相悖的记忆比仅仅附和作者的记忆更有价值。
vecmory 团队为 AI 智能体构建语义记忆，围绕三种操作：召回、记住和链接。智能体本身会将开发笔记写入自身记忆。在一次会话中，它提出了一个路由器，在余弦和图排名之间进行选择，显示合成相关性为 0.98。在报告成功之前，它回忆了一条先前的笔记，显示同一想法因合成嵌入错误地将相似与不相似区分开而在真实数据上失败——真实余弦分布高度重叠。智能体取消了报告。在第二个案例中，默认排名混合了余弦与节点入度（重要性）。在真实查询-答案对上的测量显示，纯余弦的 MRR 为 0.81，而智能混合仅为 0.41，因为全局流行度淹没了稀有特定事实。团队从默认中移除了重要性，保留图 PPR 作为选项。因此，智能体的记忆反驳了自己钟爱的特性。团队还在真实的 GitHub 问题存储库上测量了因果召回：纯余弦在 38% 的情况下找到了正确的拉取请求，而遍历因果图边缘则将其提高到 87%。文章得出结论，记忆在反驳其作者时最有价值，而不是在强化假设时。
来源: Habr — хаб ML —
原文