Mamba: الهندسة المعمارية التي سعت لقتل المحولات

في ديسمبر 2023، قدم الباحثان ألبرت غو وتري داو بنية مامبا، التي تعتمد على نماذج الفضاء الحالة الانتقائية (SSMs). على عكس المحولات، حيث يتم مقارنة كل رمز مع جميع الرموز الأخرى (تعقيد تربيعي O(N²))، تستخدم مامبا حالة خفية واحدة ثابتة الحجم يتم تحديثها تسلسلياً بتعقيد خطي. الابتكار الرئيسي هو آلية انتقائية: يتم إعادة حساب معاملات تحديث الحالة (A, B, C) لكل رمز، مما يسمح للنموذج بتحديد المعلومات التي يجب الاحتفاظ بها والتي يجب التخلص منها، على غرار آلية الانتباه ولكن دون تكلفة تربيعية. بفضل خاصية التجميع في العمليات الحسابية، يمكن موازنة تدريب مامبا، مما يحل مشكلة التدريب البطيء المتأصلة في الشبكات العصبية المتكررة القديمة. ومع ذلك، فإن لمامبا عيوباً: الحالة الثابتة تضغط المعلومات، مما يقلل من القدرة على استخراج التفاصيل الدقيقة والنسخ مقارنة بالمحولات، التي تخزن جميع الرموز صراحةً. لذلك، لم تحل مامبا محل المحولات بل تُستخدم في النماذج الهجينة، حيث تُضاف طبقة انتباه واحدة تقريباً لكل سبع طبقات مامبا. هذا المزيج يحافظ على الذاكرة الطويلة الرخيصة لمامبا والقدرة على الاسترجاع الدقيق للمحولات. ونتيجة لذلك، قد تستخدم العديد من النماذج الحديثة مامبا ضمنياً.