コンテキストエンジニアリング：その概要、LLMエージェントのコンテキストの扱い方、そしてなぜそれが報酬に結びつくのか

コンテキストエンジニアリングとは、LLM(Large Language Model、大規模言語モデル)の推論時に最適なコンテキストを収集・維持するための一連の戦略であり、ここでの「最適なコンテキスト」とは有用なトークンの最小集合を指す。これはプロンプトエンジニアリングとは異なる。プロンプトエンジニアリングが指示のみを扱うのに対し、コンテキストエンジニアリングは指示とともにモデルが受け取るすべてのもの――履歴、ドキュメント、ツール、メモリ、状態――を管理する。RAG(Retrieval-Augmented Generation、検索拡張生成)は外部知識を取り込み、MCP(Model Context Protocol)はデータやツールへの接続を標準化し、コンテキストエンジニアリングはこれらすべてをエージェントの次のステップのためのコンテキストへどう組み立てるかを決定する。エージェントのコンテキストは複数の層から構成される。ユーザークエリ、システムプロンプト、ツール、few-shot例、RAGから得られるデータ、メッセージ履歴とツール呼び出し、メモリ、そして現在の状態(スクラッチパッド)である。現代のLLMは大きなコンテキストウィンドウを持つものの、Chromaのレポート「Context Rot」によれば、使用するコンテキストが増えるにつれて、単純なタスクであっても品質が劣化する場合があることが示された。Drew Breunigは典型的なコンテキスト障害のシナリオを4つ特定している。コンテキストポイズニング(コンテキストに誤りが入り込み、それが繰り返される)、コンテキストディストラクション(必要な情報が無関係なデータの中に埋もれて失われる)、コンテキストコンフュージョン(モデルが類似したツールやドキュメントの間で混乱する)、そしてコンテキストクラッシュ(優先順位を定めるルールがないまま矛盾したデータが存在する)である。LangChainは、コンテキストを管理するための4つのアクションを提案している。write(重要な情報を外部の状態に保存する)、select(関連するコンテンツを選択する)、compress(圧縮する)、isolate(別のコンテキストに分離する)である。