AIエージェントがRAGよりも実は安い理由

本記事は、RAGアシスタントとエージェントの単純なコスト比較が誤解を招くと主張しています。従来のRAGアシスタントは1回のLLM呼び出しを行い、回答が誤っていた場合にはユーザーにクエリの修正を委ねます。実際には、ユーザーは2～3回の試行で諦め、人間のオペレーターにエスカレーションされることが多く、オペレーターはケース解決に10～15分を費やします。この結果、単純なLLM呼び出し1回よりはるかに多くのコストがかかります。ReActループに基づくエージェントは、検索ツールを自律的に反復し、仮説を立て、チャンクを取得し、ユーザー介入なしに最終回答を合成します。著者のISTOKエージェントは5つのツールを使用します。VectorSearch（Milvusによるハイブリッドdense+BM25）、Search（PostgreSQL全文検索）、OpenChunk（全文ドキュメントチャンクの読み取り）、GetDocumentChunks（目次の取得）、そして自らの試行を2～3回行った後の最終手段としてCallOperatorです。コンテキストウィンドウの制限に対処するため、エージェントはまずLLMによる要約を試みましたが、高コストで信頼性が低いことが判明したため、現在はスライディングウィンドウ（最新6メッセージを保持し、古いツールメッセージを破棄）と、要約をフォールバック（セッションあたり最大2回）として使用しています。また、LLM呼び出しも区別されています。安価な埋め込みと再ランキング、単純なステップ用の軽い生成、典型的な推論用の中程度、最終合成または要約専用の高負荷です。約1200のドキュメントと月間1800リクエストの実パイロットでは、アシスタントは平均LLM呼び出し1回、ユーザー追跡2.3回、エスカレーション率34%、解決まで27分、クローズド質問あたり約18,000トークンでした。エージェントは平均LLM呼び出し6.4回、追跡0.3回、エスカレーション11%、解決まで4分、約15,500トークンでした。直接コストでは、アシスタントのクローズド質問あたりコストは約52ルーブル（オペレーターコスト含む）、エージェントは約17ルーブルと、3分の1の削減でした。エージェントの利点は、単純な事実質問や知識ベースが空の場合には消失し、反復を浪費します。エージェントはすべての呼び出しのトークン使用量とツール履歴をログに記録し、Arize Phoenixによるトレーシングで詳細な反復内訳を提供します。