Allen Institute for AI — أخبار ونماذج الذكاء الاصطناعي

النماذج 🇺🇸

مقارنة بين معماريات نماذج اللغة الكبيرة: من DeepSeek V3 إلى OLMo 2

نشر سيباستيان راشكا مقارنة مفصلة لمعماريات نماذج اللغة المفتوحة الحديثة، مسلطًا الضوء على الابتكارات الرئيسية: الانتباه الكامن متعدد الرؤوس (Multi-Head Latent Attention) ومزيج الخبراء (Mixture-of-Experts) في DeepSeek V3، بالإضافة إلى ميزات التطبيع في OLMo 2. يغطي المقال التطور من GPT-2 إلى نماذج عام 2025.

DeepSeek

Allen Institute for AI

Sebastian Raschka27.07 · 18:04

الأبحاث 🇺🇸

ما وراء النماذج اللغوية الكبيرة القياسية: مزيج الانتباه الخطي، نماذج نشر النص، نماذج عالم الكود، والمحولات المتكررة الصغيرة

يستكشف المقال بدائل للنماذج اللغوية الكبيرة القياسية القائمة على المحولات ذاتية التغذية الراجعة: مزيج الانتباه الخطي (MiniMax-M1، Qwen3-Next، DeepSeek V3.2، Kimi Linear)، نماذج نشر النص، نماذج عالم الكود، والمحولات المتكررة الصغيرة. يلاحظ المؤلف عودة إلى الانتباه الكلاسيكي في MiniMax-M2 وتعقيد الانتباه الخطي في الإنتاج.