ReasoningBank: AI 에이전트가 성공과 실패로부터 학습하는 메모리 프레임워크

Google Cloud의 연구 과학자 Jun Yan과 Chen-Yu Lee는 ICLR 2025에서 발표된 새로운 에이전트 메모리 프레임워크인 ReasoningBank를 소개했습니다. 이는 배포 후 과거 경험을 학습하지 못하는 현재 에이전트의 한계를 해결합니다. 포괄적인 실행 로그나 성공적인 워크플로우만 저장하는 기존 방법과 달리, ReasoningBank는 성공과 실패 모두에서 고수준의 전이 가능한 추론 패턴을 추출합니다. 각 메모리 항목은 시나리오, 명령어, 추론 전략, 행동 스케치를 포함하는 구조화된 레코드로 저장됩니다. 시스템은 검색, 추출, 통합의 폐쇄 루프에서 작동하며, LLM을 판사(LLM-as-a-judge)로 사용하여 자체 평가를 수행합니다. ReasoningBank는 또한 메모리 인식 테스트 시간 스케일링(MaTTS, Memory-Aware Test-Time Scaling)을 도입하여 대비 및 정제 신호를 통해 고품질 메모리를 생성하는 탐색 궤적을 활용합니다. WebArena 및 SWE-Bench-Verified에서 Gemini-2.5-Flash를 사용하여 평가한 결과, ReasoningBank는 Vanilla ReAct, Synapse, Agent Workflow Memory를 포함한 기준선을 작업 성공률과 효율성에서 능가했습니다. 연구자들은 시간이 지남에 따라 단순한 절차적 규칙이 복잡하고 예방적인 논리 구조로 진화하는 전략적 성숙도를 관찰했습니다.