エージェントの1ステップで12万トークン：その内訳と私たちの改善策

Uma Computerの開発者たちは、ウェブ検索、メディア生成、ビデオクリッピングなどのタスクを実行する自律エージェントであるが、あるユーザーリクエストが予想される3分の1ではなく38クレジットを消費した理由を調査した。請求書によると、プロンプトトークンは119,208、完了トークンはわずか1,018であり、モデルは主に書き込みではなく読み取りを行っていた。最初の仮説は長い対話履歴だったが、実際の問題の対話は、合計530文字の2メッセージのみだった。測定により、ステップあたりのコンテキストは13,900トークンであり、9ステップで合計約120,000トークンに達することが判明した。オーバーヘッドは、エージェントループ内のステップ数によって乗算された。さらに、プロバイダーはmax_tokensを高く設定して最悪のケースのコストを確保しているため、残高が十分でもHTTP 402エラーが発生する。修正には、プリロードされたコンテキストをオンデマンドのツールに移動し、優先順位と明示的な切り捨てマーカーを備えた文字予算を使用し、速度の期待値を透明にすることが含まれていた。この記事は、コンテキストをモデルから黙って隠すべきではなく、最適化は具体的なケースで検証すべきであることを強調している。彼らは履歴が無関係なケースに対して最適化する寸前だったためである。