ربيع النماذج اللغوية المفتوحة: 10 بنى معمارية في يناير-فبراير 2026

يقدم المؤلف نظرة عامة على عشرة نماذج لغوية كبيرة مفتوحة المصدر صدرت في الفترة من يناير إلى فبراير 2026، مع التركيز على التفاصيل المعمارية. أصدرت "Arcee AI" نموذج "Trinity Large" (400 مليار معلمة من نوع "MoE"، 13 مليارًا نشطة) مع آلية انتباه محلية-عالمية بنسبة 3:1، وتطبيع استعلامي رئيسي (QK-Norm)، وترميز موضعي بدون موضع (NoPE)، وانتباه مُقيد، وأربع طبقات تطبيع جذر متوسط المربع (RMSNorm). قدمت "Moonshot AI" نموذج "Kimi K2.5" (تريليون معلمة) وهو امتداد متعدد الوسائط لنموذج "K2" مُدرَّب على 15 تريليون رمز بصري ونصي باستخدام الدمج المبكر. حقق نموذج "Step 3.5 Flash" من "StepFun" (196 مليار معلمة من نوع "MoE"، 11 مليارًا نشطة) سرعة 100 رمز في الثانية بطول سياق 128 ألفًا باستخدام تقنية تنبؤ متعدد الرموز من المستوى الثالث (MTP-3). تفوق نموذج "Qwen3-Coder-Next" (80 مليار معلمة، 3 مليارات نشطة) على النماذج الأكبر في مهام البرمجة بفضل مزيج من شبكة "Gated DeltaNet" والانتباه المُقيد بنسبة 3:1. كما تم ذكر نماذج "GLM-5" من "z.AI"، و"MiniMax M2.5"، و"Nanbeige 4.1" ذو 3 مليارات معلمة، و"Qwen 3.5"، و"Ling 2.5" و"Ring 2.5" من مجموعة "Ant Group"، و"Tiny Aya" من "Cohere"، بالإضافة إلى نموذجي "Sarvam" ذوي 30 مليارًا و105 مليارات معلمة.