باحثون من جامعة ولاية بنسلفانيا وجامعة ديوك يقدمون إسناد الفشل الآلي للأنظمة متعددة الوكلاء

قام فريق من جامعة ولاية بنسلفانيا وجامعة ديوك، بالتعاون مع باحثين من جوجل ديب مايند وجامعة واشنطن وميتا وجامعة نانيانغ التكنولوجية وجامعة ولاية أوريغون، بتعريف مشكلة بحثية جديدة: الإسناد الآلي للفشل في الأنظمة متعددة الوكلاء القائمة على نموذج لغوي كبير (LLM). قاموا ببناء أول مجموعة بيانات معيارية، تُدعى Who&When، تحتوي على سجلات فشل من 127 نظامًا متعدد الوكلاء مع تعليقات بشرية تحدد الوكيل المسؤول، وخطوة الخطأ الحاسمة، وشرحًا باللغة الطبيعية. طوّر الباحثون وقيّموا ثلاث طرق للإسناد: الكل مرة واحدة، خطوة بخطوة، والبحث الثنائي. أظهرت التجارب باستخدام GPT-4o أن أفضل طريقة منفردة حققت دقة 53.5% فقط في تحديد الوكيل المسؤول و14.2% في تحديد خطوة الخطأ. أدت الطرق الهجينة إلى تحسين الأداء ولكن بتكلفة حسابية أعلى. تم قبول الورقة البحثية كعرض مميز (Spotlight presentation) في مؤتمر ICML 2025، والكود ومجموعة البيانات متاحان كمصدر مفتوح.