Báo cáo kỹ thuật mới về DeepSeek-V3: thiết kế đồng bộ phần cứng-phần mềm giúp giảm chi phí huấn luyện mô hình lớn

Một bài báo kỹ thuật mới từ nhóm DeepSeek, với CEO Wenfeng Liang là đồng tác giả, khám phá thiết kế đồng bộ mô hình nhận biết phần cứng để giảm chi phí huấn luyện LLM. Sử dụng DeepSeek-V3 được huấn luyện trên 2048 GPU NVIDIA H800 làm nghiên cứu điển hình, bài báo trình bày chi tiết các cải tiến về hiệu quả bộ nhớ (MLA), tính toán thưa (DeepSeekMoE), huấn luyện FP8 và định tuyến nhận biết kết nối.