Atribusi Kesalahan Otomatis dalam Sistem Multi-Agen Berbasis LLM: Riset Baru

Para peneliti dari Pennsylvania State University dan Duke University, bekerja sama dengan Google DeepMind, University of Washington, Meta, Nanyang Technological University, dan Oregon State University, untuk pertama kalinya meresmikan tugas atribusi kesalahan otomatis dalam sistem multi-agen yang didasarkan pada model bahasa besar (LLM). Mereka membuat tolok ukur pertama, Who&When, yang mencakup 127 log kesalahan yang dikumpulkan dari sistem agen-LLM, baik yang dihasilkan secara algoritmik maupun disusun secara manual oleh para ahli. Setiap log berisi anotasi: agen yang bertanggung jawab (Who), langkah kesalahan (When), dan deskripsi penyebab (Why). Tiga metode diusulkan untuk tugas ini: All-at-Once (analisis seluruh log secara bersamaan), Step-by-Step (peninjauan langkah demi langkah), dan Binary Search (pencarian biner pada log). Eksperimen dengan GPT-4o menunjukkan bahwa metode tunggal terbaik mencapai akurasi 53,5% dalam mengidentifikasi agen yang bertanggung jawab dan hanya 14,2% dalam menentukan langkah kesalahan secara tepat. Tidak ada metode yang mengungguli tebakan acak pada banyak metrik. Bahkan model canggih seperti o1 dan DeepSeek R1 pun kesulitan. Pendekatan hibrida meningkatkan hasil tetapi secara signifikan menaikkan biaya komputasi. Seiring bertambahnya panjang konteks, kinerja semua metode menurun, terutama dalam menentukan langkah kesalahan. Karya ini diterima sebagai Spotlight di ICML 2025; kode dan data tersedia secara terbuka.