Neuer technischer Bericht zu DeepSeek-V3: Wie Hardware-Software-Co-Design kostengünstiges Training großer Modelle ermöglicht
DeepSeek
NVIDIA
Alibaba/Qwen
Meta
Ein neues technisches Paper des DeepSeek-Teams, mit CEO Wenfeng Liang als Co-Autor, untersucht hardwarebewusstes Modell-Co-Design, um die Trainingskosten großer Sprachmodelle zu senken. Am Beispiel von DeepSeek-V3, trainiert auf 2048 NVIDIA H800 GPUs, werden Innovationen in der Speichereffizienz (MLA), spärlicher Berechnung (DeepSeekMoE), FP8-Training und verbindungsbewusstem Routing detailliert beschrieben.
Das 14-seitige Papier ‚Scaling Challenges and Reflections on Hardware for AI Architectures‘ analysiert, wie Hardware-Beschränkungen (Speicher, Rechenleistung, Interconnect-Bandbreite) das Design großer Sprachmodelle prägen. DeepSeek-V3 nutzt Multi-head Latent Attention (MLA), um den KV-Cache auf 70 Kilobyte pro Token zu komprimieren, verglichen mit 516 Kilobyte für LLaMA-3.1 405B. Seine DeepSeekMoE-Architektur aktiviert nur 37 Milliarden der 671 Milliarden Parameter pro Token, was die Floating Point Operations per Second (FLOPS) pro Token auf etwa 250 Giga-FLOPS reduziert, gegenüber 394 für Qwen2.5-72B und 2448 für LLaMA-3.1 405B. Das Modell verwendet FP8 Mixed-Precision Training und LogFMT, eine Kommunikation mit niedrigerer Präzision, wodurch das Kommunikationsvolumen im Vergleich zu BF16 um 50 Prozent reduziert wird. Um die reduzierte NVLink-Bandbreite des NVIDIA H800 (400 Gigabyte pro Sekunde gegenüber 900 Gigabyte pro Sekunde beim H100) abzumildern, gruppiert ein knotenbewusstes Routing 256 Experten in 8 knotenlokale Gruppen, wobei jeder Token auf maximal 4 Knoten beschränkt ist. Das Papier plädiert für einheitliche Scale-up- und Scale-out-Interconnects sowie dedizierte Kommunikations-Co-Prozessoren.
Quelle: Synced —
Original