MarathonMemBench: Điểm chuẩn mới để kiểm tra trí nhớ của tác nhân LLM của bạn

Bài viết giới thiệu MarathonMemBench, một nền tảng để đánh giá hiệu năng bộ nhớ dài hạn của các tác tử LLM (mô hình ngôn ngữ lớn). Tác giả lập luận rằng ngữ cảnh hữu hạn của các mô hình dựa trên kiến trúc Transformer là một hạn chế cơ bản, và các tác tử phải sử dụng các công cụ bộ nhớ ngoài, chẳng hạn như ghi vào tệp tin, để khắc phục điều này. Các bài đánh giá bộ nhớ hiện có bị chỉ trích vì yêu cầu các tác tử phải được điều chỉnh đặc biệt: các bài đánh giá ngoài chính sách (ví dụ: LoCoMo, LongMemEval, MemoryAgentBench, BEAM) tải các cuộc hội thoại đã được ghi âm sẵn, trong khi các bài đánh giá trong chính sách (ví dụ: AMemGym, MEMPROBE, MemoryArena, STATE-Bench, MemGym, ClawMark) yêu cầu ảnh chụp nhanh trạng thái, truy cập bộ nhớ theo chương trình, hoặc hoạt động trong môi trường riêng của chúng. Thay vào đó, MarathonMemBench hoạt động như một nền tảng nơi một nhân vật LLM trò chuyện với tác tử trong nhiều giờ, đưa ra các sự kiện, thay đổi chúng, và cuối cùng kiểm tra khả năng ghi nhớ. Nó chỉ yêu cầu tác tử có giao diện trò chuyện. Bài viết phác thảo các kế hoạch cho các phần trong tương lai bao gồm các bài đánh giá hiện có, kiến trúc của nền tảng và kết quả từ các tác tử mã nguồn mở, mà kết quả này đáng ngạc nhiên là rất mạnh mẽ.