トークンからタスクへ：エージェントAIがインフラの焦点をどう変えるか

エージェンティックAIはインフラ要件を変革している。重要な指標はもはや生成トークン数ではなく、タスク全体の正常完了である。単純なチャットボットとは異なり、エージェンティックワークフローには計画、コンテキスト検索、ツールやアプリケーションプログラミングインターフェース（API）の呼び出し、サンドボックスでのコード実行、結果検証、テレメトリが含まれる。トークンスループットや最初のトークンまでの時間といった従来のベンチマークは、もはや実際のパフォーマンスを反映しない。代わりに、タスク実行コスト、ツール呼び出しレイテンシ、サンドボックス起動時間、ノードあたりのエージェント数といったワークフローメトリクスが必要となる。ルーティング、コンテキスト準備、ポリシー、テレメトリを管理する中央処理装置（CPU）とヘッドノードは、オーケストレーションにおいて重要な役割を果たす。ヘッドノードは、ヘテロジニアスなAIシステムの戦略的制御センターとなる。Armはこれをプラットフォームの機会と捉え、モデル周辺のアクション（メモリ管理、検索、ツール、API、ランタイム環境、サンドボックス、可観測性）の調整に最適化された独自のArm AGI CPUチップを提案している。その目標は、グラフィックスプロセッシングユニット（GPU）を置き換えることではなく、トークンフローだけでなくタスクグラフ全体を最適化することで、ヘテロジニアスシステム全体をより効率的にすることである。将来のベンチマークでは、システムがタスクをどれだけ迅速、正確、安全、かつ効率的に完了するかを評価すべきである。