新しいDeepSeek-V3技術レポート：ハードウェアとソフトウェアの共同設計が大規模モデルの低コストトレーニングを可能にする方法

14ページにわたる論文『AIアーキテクチャ向けハードウェアのスケーリング課題と考察』では、ハードウェアの制約（メモリ、計算能力、インターコネクト帯域幅）が大規模言語モデル（LLM）の設計に与える影響を分析している。DeepSeek-V3は、マルチヘッド潜在アテンション（MLA）を採用し、KVキャッシュをトークンあたり70キロバイトに圧縮している（LLaMA-3.1 405Bでは516キロバイト）。そのDeepSeekMoEアーキテクチャは、6710億パラメータのうちトークンあたり370億パラメータのみを活性化し、トークンあたりのフロップス（FLOPs）を約250ギガフロップスに削減している（Qwen2.5-72Bは394、LLaMA-3.1 405Bは2448）。同モデルはFP8混合精度学習とLogFMT低精度通信を採用し、通信量をBF16と比較して50%削減している。NVIDIA H800のNVLink帯域幅の低下（H100の900ギガバイト毎秒に対して400ギガバイト毎秒）を緩和するため、ノード認識型ルーティングにより256のエキスパートを8つのノードローカルグループに分割し、各トークンが最大4ノードに制限される。論文では、統合されたスケールアップ/スケールアウト・インターコネクトと専用通信コプロセッサを提唱している。