ABBEL：大規模言語モデルに信念更新を学習させ、長期的な対話を効率化

ABBEL（Autoencoder Belief Bottleneck for Efficient Learning）は、コンテキストウィンドウに完全な会話履歴が収まらない長期的な対話において大規模言語モデル（LLM）が苦戦する問題に取り組む手法です。従来の再帰的な要約に代わり、ABBELは要約を信念状態（belief state）として定式化し、モデルが定期的にそれを更新します。信念の評価（belief grading）では、補助的な強化学習タスクを導入し、直近の観測をどれだけ再構成できるかに基づいて信念に報酬を与えます。協調コーディング環境CollabBenchにおいて、再構成ベースの信念評価を用いたABBELは、テスト合格率0.48（完全コンテキストでは0.52）、成功率0.36（同0.39）を達成し、ピークトークン数は6.01（完全コンテキストは14.08）、訓練ステップ数は50（同100）と効率的でした。Combination Lockタスクでは、ドメイン知識に基づく信念評価により、ABBELは完全コンテキストと同等またはそれを上回る性能を示しました。多目的質疑応答（QA）では、ピーク信念長ペナルティ（Peak Belief Length Penalty）により、性能低下を最小限に抑えつつメモリ使用量を削減しました。本論文は、バークレーAIのLidayanらによって執筆されました。