AI 에이전트 메모리가 허위 보고서를 막고 자체 기능 포기를 강요한 방법

vecmory 팀은 AI 에이전트를 위한 의미론적 메모리를 구축하며, 세 가지 연산(회상, 기억, 연결)을 중심으로 설계했다. 에이전트는 스스로 개발 일지를 자신의 메모리에 기록한다. 한 세션에서 에이전트는 코사인 유사도 기반 순위와 그래프 기반 순위를 선택하는 라우터를 제안했으며, 합성 상관관계가 0.98에 달했다. 하지만 성공을 보고하기 전에, 이전 메모리에서 같은 아이디어가 실제 데이터에서는 실패했던 이유를 회상했다. 합성 임베딩은 유사 항목과 비유사 항목을 인위적으로 분리하지만, 실제 코사인 분포는 크게 겹치기 때문이다. 에이전트는 보고서 작성을 취소했다. 두 번째 사례에서는 기본 순위가 코사인 유사도와 노드의 중요도(입차수, indegree)를 혼합했었다. 실제 질의-응답 쌍에 대한 측정 결과, 순수 코사인 유사도의 평균 상호 순위(MRR, Mean Reciprocal Rank)는 0.81인 반면, 혼합 방식은 0.41에 그쳤다. 이는 전역적 인기도가 희귀한 세부 사실을 묻어버렸기 때문이다. 팀은 기본값에서 중요도를 제거하고, 그래프 기반 개인화 페이지랭크(PPR, Personalized PageRank)를 옵션으로 유지했다. 이처럼 에이전트의 메모리는 자체적으로 선호하던 기능을 반증했다. 팀은 또한 실제 GitHub 이슈 저장소에서 인과 회상(causal recall) 성능을 측정했다: 순수 코사인 유사도는 38%의 경우에서 올바른 풀 리퀘스트(PR, Pull Request)를 찾아낸 반면, 원인-결과 그래프 엣지를 탐색한 경우 87%로 향상되었다. 이 글은 메모리가 가정을 강화할 때보다 저자와 모순될 때 가장 가치 있다고 결론짓는다.