DeepSeek-V3技术报告：软硬件协同设计如何实现低成本大模型训练

这份14页的论文《AI架构的硬件扩展挑战与反思》分析了硬件限制（内存、计算、互联带宽）如何影响大型语言模型（LLM）的设计。DeepSeek-V3采用多头潜在注意力（MLA）机制，将每个令牌的键值（KV）缓存压缩至70 KB，而LLaMA-3.1 405B则为516 KB。其DeepSeekMoE架构每令牌仅激活671B参数中的37B，将每令牌浮点运算次数（FLOPs）降至约250 GFLOPS，而Qwen2.5-72B为394 GFLOPS，LLaMA-3.1 405B为2448 GFLOPS。该模型采用FP8混合精度训练和LogFMT低精度通信，相比BF16减少50%的通信量。为了缓解英伟达（NVIDIA）H800降低的NVLink带宽（400 GB/s，而H100为900 GB/s），节点感知路由将256个专家分组为8个节点本地组，限制每个令牌最多访问4个节点。论文倡导统一的扩展/扩展互联和专用的通信协处理器。