ABBEL: تدريب نماذج اللغة الكبيرة على تحديث المعتقدات من أجل تفاعل طويل الأمد بكفاءة

تتناول تقنية ABBEL (عنق الزجاجة المعتقد القائم على الترميز الذاتي للتعلم الفعال) مشكلة معاناة نماذج اللغة الكبيرة مع التفاعلات الطويلة حيث لا يمكن استيعاب سياق التاريخ الكامل ضمن نافذة السياق. بدلاً من التلخيص التكراري التقليدي، تصوغ ABBEL الملخصات كحالات اعتقادية يقوم النموذج بتحديثها دورياً. يضيف تصنيف الاعتقاد مهمة تعلم تعزيزي مساعدة تكافئ الاعتقادات بناءً على مدى قدرتها على إعادة بناء الملاحظات الحديثة. في بيئة الترميز التعاوني CollabBench، حققت ABBEL مع تصنيف الاعتقاد القائم على إعادة البناء معدل نجاح اختبار بلغ 0.48 (مقابل 0.52 للسياق الكامل) ومعدل نجاح عام بلغ 0.36 (مقابل 0.39)، مع استخدام 6.01 رمز ذروة مقابل 14.08 للسياق الكامل، وتطلب فقط 50 خطوة تدريب مقابل 100. في مهمة القفل المركب، سمح تصنيف الاعتقاد القائم على المعرفة المجالية لـ ABBEL بالاقتراب من أو تجاوز أداء السياق الكامل. في مهام الإجابة على الأسئلة متعددة الأهداف، قللت عقوبة طول ذروة الاعتقاد من استخدام الذاكرة مع خسارة أداء ضئيلة. الورقة من تأليف ليدايان وآخرين من جامعة كاليفورنيا، بيركلي.