NVIDIA Groq 3：新AIプラットフォームにおけるSRAM、ディスアグリゲーション、決定論

NVIDIAは、200億ドルでの買収に続き、GroqのLPU（Language Processing Unit）アーキテクチャを自社のVera Rubin AIプラットフォームに統合しました。その結果、Vera Rubin NVL72が汎用のトレーニングと推論を処理し、Groq 3 LPXラックアクセラレータが低レイテンシのトークン生成向けの専用エンジンを提供するヘテロジニアスシステムが実現しました。LPXには、それぞれ960億個のトランジスタを搭載した256個のGroq 3（LP30）チップが含まれており、これらはRealScale C2Cインターコネクトを介して接続されています。LPUは決定論的実行モデルを中心に設計されており、チップあたり500 MBのSRAM（帯域幅150 TB/秒）を搭載し、キャッシュは持たず、データ移動はコンパイラによって明示的に制御されます。これにより、ジッターが排除され、予測可能なレイテンシが保証されます。これはインタラクティブAIやマルチエージェントシステムにとって極めて重要です。このプラットフォームはフェーズ分離（AFD）を採用し、アテンション操作とFFN操作を分離します。GPUがプリフィルと長文脈アテンションを担当し、LPUがFFN（フィードフォワードネットワーク）/MoE（混合エキスパート）のデコーディングを高速化します。NVIDIAは、Grace Blackwell NVL72と比較して、ユーザーあたり400 TPSで最大35倍の高速化、レイテンシ重視のワークロードではMWあたりの収益が最大10倍になると主張しています。NVIDIA Dynamoソフトウェアは、このヘテロジニアスなデコーディングを調整し、リクエストを分類して中間活性化状態を管理します。