Mamba: بديل خطي التعقيد لتحويل المحول
Princeton University (Sengupta Lab)
Mamba، نموذج فضاء حالة جديد، يقدم بديلاً ذا تعقيد زمني خطي بالمقارنة مع المحولات، مما يعد بأداء مماثل مع سرعة استدلال أسرع تصل إلى 5 أضعاف ومعالجة تسلسلات من مليون رمز. يزيل الاختناق التربيعي للانتباه باستخدام آلية فضاء حالة انتقائية.
Mamba هو نموذج الفضاءات الحالة الانتقائي (SSM) يهدف إلى استبدال آلية الانتباه في المحولات (Transformers). يحقق تحجيمًا خطيًا في طول التسلسل، مما يتيح معالجة فعالة لسياقات تصل إلى مليون رمز. يستخدم النموذج SSM مستوحى من نظرية التحكم للتواصل بين الرموز، ويحتفظ بشبكات MLP للحساب. يتفوق Mamba-3B على المحولات من نفس الحجم ويضاهي نماذج بحجم مضاعف في التدريب المسبق والمهام النهائية. تشمل المزايا الرئيسية سرعة استدلال أعلى (تصل إلى 5 مرات)، وبصمة ذاكرة أقل، والقدرة على معالجة تسلسلات طويلة جدًا. تسمح آلية الانتقاء بتحولات الحالة المعتمدة على المدخلات، مما يحسن الفعالية مقارنة بـ SSM التقليدية.
المصدر: The Gradient —
الأصلي