MarathonMemBench：LLMエージェントのメモリをテストする新しいベンチマーク

この記事では、LLMエージェントの長期記憶を評価するためのプラットフォームであるMarathonMemBenchを紹介します。著者は、トランスフォーマーベースのモデルの有限なコンテキストウィンドウが根本的な制限であり、エージェントはファイルへの書き込みなどの外部メモリツールを使用してこの制限を克服する必要があると主張しています。既存のメモリベンチマークは、エージェントが特別に適応することを要求するため批判されています。オフポリシーのベンチマーク（例：LoCoMo、LongMemEval、MemoryAgentBench、BEAM）は事前に記録されたダイアログを読み込みますが、オンポリシーのベンチマーク（例：AMemGym、MEMPROBE、MemoryArena、STATE-Bench、MemGym、ClawMark）は状態スナップショット、プログラムによるメモリへのアクセス、または独自の環境内での動作を要求します。代わりに、MarathonMemBenchは、LLMのペルソナがエージェントと何時間にもわたって会話し、事実を提示し、変更し、最後に想起をテストするプラットフォームとして動作します。必要なのは、エージェントがチャットインターフェースを持っていることだけです。この記事では、既存のベンチマーク、プラットフォームのアーキテクチャ、そして驚くほど強力だったオープンソースエージェントの結果を取り上げる今後のセクションの計画を概説しています。