ابتكارات في بنية نماذج اللغات الكبيرة: مشاركة KV، تضمينات لكل طبقة، وانتباه مضغوط

يستعرض سيباستيان راشكا أحدث التغييرات في بنية نماذج اللغة مفتوحة الأوزان التي تهدف إلى تقليل تكاليف السياقات الطويلة. في نموذج Gemma 4 E2B/E4B، تعيد الطبقات اللاحقة استخدام حالات المفاتيح والقيم من الطبقات السابقة (الانتباه عبر الطبقات)، مما يوفر حوالي نصف حجم ذاكرة التخزين المؤقت للمفاتيح والقيم (على سبيل المثال، 2.7 جيجابايت عند سياق بطول 128 ألف رمز). بالإضافة إلى ذلك، تستخدم هذه النماذج تضمينات لكل طبقة (PLE) لزيادة السعة دون توسيع كومة المحول الرئيسية—حيث أن عدد المعاملات 'الفعال' أصغر من الإجمالي بما في ذلك التضمينات. نموذج Laguna XS.2 من شركة Poolside يغير تكلفة الانتباه حسب الطبقة، حيث يحتوي على 30 طبقة انتباه بنافذة منزلقة (باستخدام نافذة بحجم 512) و10 طبقات انتباه كامل. يقدم نموذج ZAYA1-8B انتباهاً تلافيفياً مضغوطاً، بينما يستخدم DeepSeek V4 تقنيتي mHC والانتباه المضغوط. هذه التعديلات مدفوعة بالحاجة المتزايدة لمعالجة السياقات الطويلة بكفاءة في نماذج الاستدلال وسير عمل الوكلاء.