ما وراء نماذج اللغة الكبيرة القياسية: هجينة الانتباه الخطي، انتشار النص، نماذج عالم الكود، ومحولات تكرارية صغيرة

يناقش سيباستيان راشكا بدائل محولات التشفير الذاتي التلقائي القياسية من نوع وحدة فك التشفير (Decoder)، والتي تُبنى على الانتباه متعدد الرؤوس (Multi-Head Attention). تشمل النماذج البارزة نموذج MiniMax-M1 المزود بانتباه برق (Lightning Attention)، ونموذج Qwen3-Next المزود بـ Gated DeltaNet و Gated Attention، ونموذج DeepSeek V3.2 المزود بانتباه متناثر (Sparse Attention)، ونموذج Kimi Linear. ومع ذلك، عادت MiniMax إلى الانتباه العادي في نموذجها M2، مستشهدةً بدقة ضعيفة في مهام التفكير والمهام متعددة الخطوات. يستخدم نموذجا Qwen3-Next و Kimi Linear نسبة 3:1 من الانتباه الخطي (Gated DeltaNet) إلى الانتباه الكامل (Gated Attention). يجمع Gated DeltaNet بين Mamba2 وقاعدة دلتا (Delta Rule) لتحديثات الحالة المتكررة. يذكر المقال أيضًا بدائل أخرى مثل نماذج نشر النص (Text Diffusion Models)، ونماذج العالم البرمجي (Code World Models)، والمحولات المتكررة الصغيرة (Small Recursive Transformers)، لكنه لا يُفصّلها.