PDDアーキテクチャがクロスクラスターヘテロジニアス推論の障壁を打破：初回トークン遅延を51.5%削減、コストを37.5%低減

WAIC 2026において、InfiniteGはPDD（Prefill-RelayDecode-MainDecode）を発表しました。これは、従来のPD分離を3段階に分解する新しい推論アーキテクチャです。鍵となる洞察は、エージェントワークロードではキャッシュヒット率が非常に偏っていることです（リクエストの70～80%が95%以上のヒット率）。そのため、ヒット率の低い少数のリクエストだけが、WANイーサネット経由でのKVキャッシュ転送による長い遅延に悩まされます。PDDでは、プリフィルと同じクラスタ内にRelayDecode（RLD）インスタンスを配置し、これが高速RDMAを介してKVキャッシュを受信して即座にデコードを開始することで、リモートのMainDecode（MD）インスタンスへの低速なイーサネット転送を隠蔽します。MDが完全なKVキャッシュを受信すると、ハンドオフメカニズムにより、小さなトークンID（数KB）のみをMDに転送してローカルで再計算させ、大きなKV転送を回避します。実際のエージェントトレースを用いたDeepSeek-V4-proでのテストでは、PDDはP90 TTFTを18.3秒から9.8秒（46%削減）、P99を29.7秒から14.4秒に削減し、RLDはトークン生成のわずか6.2%を処理しました。総インフラコストは3.5～7.1%削減され、実効スループット（RPSグッドプット）は27.8%向上し、費用対効果は37.5%改善されました。この研究により、低コストのWANで接続された均質なクラスタ間での異種推論が可能となり、散在する計算リソースの活用を最大化します。