DeepSeek V3’ten V3.2’ye: Mimari, Seyrek Dikkat ve Pekiştirmeli Öğrenme Güncellemeleri

DeepSeek, GPT-5 ve Gemini 3.0 Pro ile karşılaştırılabilir performansa sahip açık ağırlıklı amiral gemisi modeli V3.2’yi yayınladı. Model, verimlilik için DeepSeek Seyrek Dikkat’i (DeepSeek Sparse Attention - DSA) tanıtıyor ve özel bir akıl yürütme modelinden (R1) hibrit bir akıl yürütme modeline (V3.1, V3.2) evriliyor. Zaman çizelgesi V3, R1, R1-0528, V3.1, V3.2-Exp ve V3.2’yi içeriyor; mimari öne çıkanlar arasında Çok Başlı Gizli Dikkat (Multi-Head Latent Attention - MLA) ve RLVR eğitimi yer alıyor.

Bir ABD tatil hafta sonunda yayınlanan DeepSeek V3.2, açık ağırlıklı olmasına rağmen GPT-5 ve Gemini 3.0 Pro performansına ulaşıyor. V3.2, V3 tabanına hibrit akıl yürütme (instruct ve reasoning modları) ekleyen V3.1'in üzerine inşa edilmiştir. Temel yeni özellik, özellikle uzun bağlamlar için verimliliği artıran, bir yıldırım indeksleyici ve token seçiciye sahip, öğrenilmiş seyrek dikkat mekanizması olan DeepSeek Sparse Attention'dır (DSA). DSA, dinamik olarak hangi geçmiş tokenlara dikkat edileceğini seçerek kayan pencere dikkatinin yerini alır. V3.2-Exp (Eylül 2025), V3.2 için altyapıyı hazırlamak amacıyla yapılan deneysel bir sürümdü. Önceki modeller: Aralık 2024'teki V3, MoE (Uzmanlar Karışımı) ve MLA (Çok Katmanlı Dikkat) kullanıyordu; Ocak 2025'teki R1, GRPO (Grup Göreceli Politika Optimizasyonu) ile RLVR (Reinforcement Learning with Verifiable Rewards) aracılığıyla akıl yürütme ekledi; R1-0528 küçük bir yükseltmeydi. Şirketin NVIDIA'dan Huawei çiplerine geçtiği ve ardından NVIDIA'ya geri döndüğü bildiriliyor. V3.2 sürümü çok yönlü bir hibrit model hedeflerken, özel bir R2'nin hâlâ geliştirilme aşamasında olabileceği belirtiliyor.

Kaynak: Sebastian Raschka — orijinal