De DeepSeek V3 a V3.2: Arquitectura, Atención Dispersa y Actualizaciones de Aprendizaje por Refuerzo

DeepSeek lanzó V3.2, un modelo emblemático de pesos abiertos con rendimiento comparable a GPT-5 y Gemini 3.0 Pro. El modelo introduce DeepSeek Sparse Attention (DSA) para eficiencia, y evoluciona de un modelo de razonamiento dedicado (R1) a un modelo de razonamiento híbrido (V3.1, V3.2). La cronología incluye V3, R1, R1-0528, V3.1, V3.2-Exp y V3.2, con aspectos arquitectónicos destacados como Multi-Head Latent Attention (MLA) y entrenamiento RLVR.

DeepSeek V3.2, lanzado durante un fin de semana festivo en Estados Unidos, iguala el rendimiento de GPT-5 y Gemini 3.0 Pro, además de ser de pesos abiertos. Se basa en V3.1, que añadió razonamiento híbrido (modos de instrucción y razonamiento) a la base V3. La nueva característica clave es DeepSeek Sparse Attention (DSA), un mecanismo de atención dispersa aprendida con un indexador rápido y un selector de tokens que mejora la eficiencia, especialmente para contextos largos. DSA reemplaza la atención de ventana deslizante al seleccionar dinámicamente qué tokens anteriores atender. V3.2-Exp (septiembre de 2025) fue un lanzamiento experimental para preparar la infraestructura para V3.2. Modelos anteriores: V3 (diciembre de 2024) usó MoE y MLA; R1 (enero de 2025) añadió razonamiento mediante RLVR con GRPO; R1-0528 fue una actualización menor. Según se informa, la empresa cambió de chips NVIDIA a Huawei y luego volvió a NVIDIA. El lanzamiento de V3.2 apunta a un modelo híbrido versátil, mientras que un R2 dedicado podría estar aún en desarrollo.

Fuente: Sebastian Raschka — original