DeepSeek-V3技术报告：软硬件协同设计如何实现低成本大模型训练

DeepSeek团队发布新论文，CEO梁文锋为合著者，探索硬件感知的模型协同设计以降低大语言模型训练成本。以在2048块英伟达H800 GPU上训练的DeepSeek-V3为案例，论文详细介绍了内存效率（MLA）、稀疏计算（DeepSeekMoE）、FP8训练和互联感知路由等方面的创新。

DeepSeek NVIDIA Alibaba/Qwen Meta

NVIDIA Blackwell Ultra：15 Pflops NVFP4、288 GB HBM3e，无FP64

NVIDIA 发布了 Blackwell Ultra 加速器，具有 2080 亿个晶体管、NVFP4 格式下 15 Pflops 算力、288 GB HBM3e 内存以及新的第五代 Tensor Core。该芯片放弃了 FP64，但引入了 NVFP4 格式，以实现高效的 AI 推理。

NVIDIA Taiwan Semiconductor Manufacturing Company