أول نموذج انتشار وكيل في العالم: يصحح نفسه أثناء العمل، وسياق 128 ألف يتوافق مع النماذج الانحدارية الذاتية

كشفت مجموعة inclusionAI التابعة لشركة Ant Group عن إطلاق نموذج LLaDA 2.2، وهو نموذج انتشار مختلط الخبراء (MoE) يضم 100 مليار معلمة ويدعم سياقًا أصليًا يبلغ 128 ألف رمز. يُعد هذا النموذج أول نموذج انتشار وكيل واسع النطاق، مما يمكّن النموذج من توليد وتصحيح مخرجاته في وقت واحد. يستخدم النموذج نموذج التحرير ليفينشتاين مع أربع عمليات ذرية (الإبقاء، الاستبدال، الحذف، الإدراج) لتعديل المحتوى المُنشأ ديناميكيًا. كما يقدم النموذج تقنية L-EBPO (تحسين الدليل الأدنى للتحرير ليفينشتاين) لمعالجة قرارات التحرير متعددة الجولات كمشاكل تعلم تعزيزي بناءً على التغذية الراجعة البيئية. للتعامل مع السياقات الطويلة، يستخدم النموذج تقنية BlockRouting، التي تختار مجموعة خبراء ثابتة على مستوى الكتلة قبل التوجيه على مستوى الرمز، مما يقلل من حركة الذاكرة عالية النطاق (HBM) وتكاليف الاتصال. في سبعة معايير وكيل، سجل نموذج LLaDA 2.2-flash درجة 53.83 مقابل درجة 55.74 لنموذج Ling-2.6-flash، مما يُظهر أداءً مماثلاً، مع تحقيق إنتاجية متوسطة تبلغ 1.64 ضعفًا عند الدقة BF16 وتحسن إضافي بنسبة 18.6% عند استخدام التكميم FP8. يُثبت هذا أن نماذج الانتشار يمكنها منافسة النماذج التوليدية الذاتية في مهام الوكيل، وستتعايش في أنظمة الوكيل المستقبلية.