LLMからエージェントへ：モデルとアプリケーションの間にあるレイヤーを理解する

この記事では、大規模言語モデル(LLM)からエージェントに至るまでの一連のプロセスを解説している。中核となるのは、自己回帰ループの中で次のトークンを予測するモデルの働きであり、テキストをトークンIDに変換するトークナイザーと、それを再びテキストへ戻すデトークナイザーが用いられる。KVキャッシュは、以前のキー・バリューのペアを保存しておくことで生成処理を高速化する仕組みだ。 モデルが受け取ることを想定している入力テキストは、生のJSONではなく、モデルのチャットテンプレートに従って整形されたプロンプトである。このチャットテンプレートはJinjaテンプレートであり、メッセージのリストを特殊トークンを含む一つの文字列に変換する(例:ChatML、Llama 3)。推論モデルの場合、プロンプトには<think>ブロックが含まれることがあり、モデルが推論に多くのトークンを費やしすぎると、最終的な回答を出力する前に生成トークンの上限に達してしまうことがある。 さらに記事では、課金対象となるトークン数やコンテキスト長は、API経由で渡されるJSONそのものではなく、チャットテンプレート適用後にトークン化されたプロンプトを基準に算出される、と説明している。ディスク上に保存されるモデルには、safetensors形式の重みファイル、config.json、トークナイザー関連のファイル、そしてtokenizer_config.json内に含まれるchat_templateが含まれる。llama.cppのようなランタイムは、これらの要素をひとまとめにしたGGUFファイルを読み込むことで、テキスト入力からテキスト出力への高レベルなインターフェースを提供している。