Peneliti dari PSU dan Duke Memperkenalkan Atribusi Kegagalan Otomatis untuk Sistem Multi-Agen
Google DeepMind
Meta
OpenAI
DeepSeek
Peneliti dari Penn State University dan Duke University, bekerja sama dengan Google DeepMind dan lainnya, telah merumuskan masalah atribusi kegagalan otomatis dalam sistem multi-agen berbasis model bahasa besar. Mereka membuat dataset tolok ukur pertama, Who&When, dan mengevaluasi beberapa metode, menemukan bahwa bahkan pendekatan terbaik hanya mencapai akurasi 53,5% dalam mengidentifikasi agen yang bertanggung jawab.
Sebuah tim dari Penn State University dan Duke University, bersama dengan peneliti dari Google DeepMind, University of Washington, Meta, NTU, dan Oregon State University, telah mendefinisikan masalah penelitian baru: atribusi kegagalan otomatis dalam sistem multi-agen yang digerakkan oleh Large Language Model (LLM). Mereka membangun kumpulan data tolok ukur pertama, Who&When, yang berisi log kegagalan dari 127 sistem multi-agen dengan anotasi manusia untuk agen yang bertanggung jawab, langkah kesalahan yang menentukan, dan penjelasan dalam bahasa alami. Para peneliti mengembangkan dan mengevaluasi tiga metode atribusi: All-at-Once, Step-by-Step, dan Binary Search. Eksperimen menggunakan GPT-4o menunjukkan bahwa metode tunggal terbaik hanya mencapai akurasi 53,5% dalam mengidentifikasi agen yang bertanggung jawab dan 14,2% dalam menentukan langkah kesalahan. Pendekatan hibrida meningkatkan performa namun dengan biaya komputasi yang lebih tinggi. Makalah ini telah diterima sebagai presentasi Spotlight di ICML 2025, dan kode serta kumpulan data telah dirilis sebagai sumber terbuka.
Sumber: Synced —
asli