New DeepSeek-V3 Technical Report: How Hardware-Software Codesign Enables Low-Cost Training of Large Models

DeepSeek-V3チームが新たなテクニカルレポートを公開し、共同著者として同社CEOの梁文鋒氏が名を連ねています。14ページにわたるこの文書は、大規模言語モデル（LLM、large language model）のスケーリングにおける課題と、ハードウェア制約への対応に焦点を当てています。前回の発表がV3のアーキテクチャを説明していたのに対し、今回のレポートはモデル開発とハードウェアの相互関係に重点を置いています。DeepSeek-V3は2048基のNVIDIA H800 GPUからなるクラスタで学習され、「ハードウェア」の特性を考慮することで、メモリ不足、計算効率、インターコネクト帯域幅といったボトルネックを克服できることを示しています。主要なアーキテクチャ上の決定には、キー・バリューキャッシュをトークンあたり70KBに圧縮するMulti-head Latent Attention（MLA）メカニズム（LLaMA-3.1 405Bの516KB、Qwen-2.5 72Bの327KBと比較）が含まれます。計算削減は、スパースアーキテクチャDeepSeekMoEによって達成され、総パラメータ数6710億のモデルはトークンあたりわずか370億のパラメータを活性化し、トークンあたり約250 GFLOPSを必要とします（Qwen-2.5 72Bは394 GFLOPS、LLaMA-3.1 405Bは2448 GFLOPS）。推論高速化には、通信と計算をオーバーラップさせるデュアルマイクロバッチアーキテクチャと、プリフィル（prefill）とデコード（decode）のステージ分割が使用されています。DeepSeek-V3は、FP8混合精度を用いて学習された初の公知の大規模モデルとなり、計算コストを削減しました。ノード間通信では、FP8（LogFMT）でデータを圧縮し、通信量を半減させています。規制上の制約によりNVIDIA H800のNVLink帯域幅は半分（900GB/sに対して400GB/s）であるため、DeepSeekは「ノード指向型ルーティング」のMoEエキスパートを採用し、エキスパートを1ノードあたり32の8グループにまとめ、各トークンの送信先ノード数を4に制限しています。レポートではさらに、スケールアップとスケールアウトを統合するユニファイドバス（UB）、ネットワークトラフィック専用のコプロセッサの導入、NVLink/PCIe帯域幅の動的管理、マルチプレーンファットツリー（Multi-Plane Fat-Tree）トポロジの使用など、将来の方向性についても議論しています。