Cách trí nhớ AI ngăn chặn báo cáo sai và buộc từ bỏ tính năng của chính nó

Nhóm vecmory xây dựng một bộ nhớ ngữ nghĩa cho các tác nhân AI, tập trung vào ba thao tác: recall (nhớ lại), remember (ghi nhớ) và link (liên kết). Bản thân tác nhân viết các ghi chú phát triển vào bộ nhớ của chính nó. Trong một phiên làm việc, nó đề xuất một bộ định tuyến để lựa chọn giữa xếp hạng dựa trên cosine và dựa trên đồ thị, cho thấy mối tương quan tổng hợp là 0,98. Trước khi báo cáo thành công, nó đã recall một ghi chú trước đó tiết lộ rằng ý tưởng tương tự đã thất bại trên dữ liệu thực vì các embedding tổng hợp phân tách giả tạo giữa tương tự và không tương tự — các phân phối cosine thực tế chồng lấn nặng nề. Tác nhân đã hủy báo cáo. Trong trường hợp thứ hai, xếp hạng mặc định trộn cosine với node in-degree (tầm quan trọng). Các phép đo trên các cặp truy vấn-câu trả lời thực cho thấy cosine thuần túy có MRR (mean reciprocal rank) là 0,81 trong khi blend thông minh chỉ đạt 0,41, bởi vì mức độ phổ biến toàn cầu lấn át các sự kiện cụ thể hiếm. Nhóm đã loại bỏ tầm quan trọng khỏi mặc định, giữ lại PPR (Personalized PageRank) trên đồ thị như một tùy chọn. Do đó, bộ nhớ của tác nhân đã phản bác chính tính năng ưa thích của nó. Nhóm cũng đo lường recall nhân quả trên một kho lưu trữ GitHub issue thực: cosine thuần túy tìm đúng PR (pull request) trong 38% trường hợp, trong khi duyệt qua các cạnh đồ thị nguyên nhân-kết quả nâng tỷ lệ đó lên 87%. Bài báo kết luận rằng bộ nhớ có giá trị nhất khi nó mâu thuẫn với tác giả, chứ không phải khi nó củng cố các giả định.