ReasoningBank: Một Khung Bộ Nhớ Cho Các Tác Nhân AI Học Từ Thành Công và Thất Bại

Các nhà nghiên cứu từ Google Cloud, Jun Yan và Chen-Yu Lee, đã giới thiệu ReasoningBank, một khung bộ nhớ tác tử mới được trình bày tại Hội nghị Học tập Biểu diễn Quốc tế (ICLR) năm 2025. Khung này giải quyết hạn chế của các tác tử hiện tại khi không thể học hỏi từ các trải nghiệm trong quá khứ sau khi triển khai. Không giống như các phương pháp hiện có lưu trữ nhật ký hành động chi tiết hoặc chỉ các quy trình làm việc thành công, ReasoningBank chắt lọc các mẫu suy luận cấp cao, có thể chuyển giao từ cả thành công và thất bại. Mỗi mục bộ nhớ được lưu trữ dưới dạng bản ghi có cấu trúc chứa kịch bản, hướng dẫn, chiến lược suy luận và bản phác thảo hành động. Hệ thống hoạt động trong một vòng lặp khép kín gồm truy xuất, trích xuất và hợp nhất, sử dụng mô hình ngôn ngữ lớn (LLM) làm bộ phán xét (LLM-as-a-judge) để tự đánh giá. ReasoningBank cũng giới thiệu khả năng mở rộng quy mô theo thời gian kiểm tra có nhận thức bộ nhớ (MaTTS - memory-aware test-time scaling), sử dụng các quỹ đạo khám phá để tạo ra các bộ nhớ chất lượng cao thông qua các tín hiệu đối chiếu và tinh chỉnh (contrastive and refinement signals). Được đánh giá trên WebArena và SWE-Bench-Verified sử dụng Gemini-2.5-Flash, ReasoningBank vượt trội hơn so với các đường cơ sở bao gồm Vanilla ReAct, Synapse và Agent Workflow Memory về tỷ lệ thành công và hiệu quả thực hiện nhiệm vụ. Các nhà nghiên cứu quan sát thấy sự trưởng thành chiến lược theo thời gian, khi các quy tắc thủ tục đơn giản phát triển thành các cấu trúc logic phức tạp, mang tính phòng ngừa.