Van DeepSeek V3 naar V3.2: Architectuur, Sparse Attention en RL-updates

DeepSeek heeft V3.2 uitgebracht, een opengewicht vlaggenschipmodel met prestaties vergelijkbaar met GPT-5 en Gemini 3.0 Pro. Het model introduceert DeepSeek Sparse Attention (DSA) voor efficiëntie en evolueert van een toegewijd redeneermodel (R1) naar een hybride redeneermodel (V3.1, V3.2). De tijdlijn omvat V3, R1, R1-0528, V3.1, V3.2-Exp en V3.2, met architectonische hoogtepunten zoals Multi-Head Latent Attention (MLA) en RLVR-training.

DeepSeek V3.2, uitgebracht in een Amerikaans vakantieweekend, evenaart de prestaties van GPT-5 en Gemini 3.0 Pro en is open-weight. Het bouwt voort op V3.1, dat hybride redeneren (instruct- en redeneermodi) toevoegde aan de V3-basis. De belangrijkste nieuwe functie is DeepSeek Sparse Attention (DSA), een geleerd schaars aandachtsmechanisme met een bliksemsnelle indexeerder en token-selector dat de efficiëntie verbetert, vooral voor lange contexten. DSA vervangt sliding-window attention door dynamisch te selecteren naar welke eerdere tokens moet worden gekeken. V3.2-Exp (september 2025) was een experimentele release om de infrastructuur voor V3.2 voor te bereiden. Eerdere modellen: V3 (december 2024) gebruikte MoE en MLA; R1 (januari 2025) voegde redeneren toe via RLVR met GRPO; R1-0528 was een kleine upgrade. Het bedrijf is naar verluidt overgestapt van NVIDIA naar Huawei-chips en weer terug naar NVIDIA. De V3.2-release streeft naar een veelzijdig hybride model, terwijl een speciale R2 mogelijk nog in ontwikkeling is.

Bron: Sebastian Raschka — origineel