Von DeepSeek V3 bis V3.2: Architektur, Sparse Attention und RL-Updates

DeepSeek hat V3.2 veröffentlicht, ein Open-Weight-Flaggschiffmodell mit Leistung vergleichbar zu GPT-5 und Gemini 3.0 Pro. Das Modell führt DeepSeek Sparse Attention (DSA) für Effizienz ein und entwickelt sich von einem dedizierten Reasoning-Modell (R1) zu einem hybriden Reasoning-Modell (V3.1, V3.2). Der Zeitplan umfasst V3, R1, R1-0528, V3.1, V3.2-Exp und V3.2, mit architektonischen Höhepunkten wie Multi-Head Latent Attention (MLA) und RLVR-Training.

DeepSeek

Stand der LLMs im Jahr 2025: Fortschritte, Herausforderungen und Prognosen

Im Jahr 2025 wurde die Entwicklung großer Sprachmodelle (LLMs) von Reasoning-Modellen dominiert, die Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) und den GRPO-Algorithmus nutzen, ausgelöst durch DeepSeek R1. Zu den wichtigsten Trends gehören der Fokus auf Inference-Time Scaling, MoE-Architekturen und Effizienzoptimierungen wie Gated DeltaNets. Die akademische Forschung hob GRPO-Varianten mit Verbesserungen wie Zero-Gradient-Filtering und Token-Level-Loss hervor.

DeepSeek OpenAI Alibaba/Qwen Moonshot AI NVIDIA Google/DeepMind