PSU ve Duke'tan Araştırmacılar, Çoklu-Ajan Sistemleri için Otomatik Hata Atfetme Yöntemini Tanıttı
Google DeepMind
Meta
OpenAI
DeepSeek
Penn State Üniversitesi ve Duke Üniversitesi'nden araştırmacılar, Google DeepMind ve diğerleriyle iş birliği içinde, dil modelleri (LLM) tabanlı çoklu-ajan sistemlerinde otomatik hata atfetme problemini biçimselleştirdi. Kim ve Ne Zaman (Who&When) adlı ilk kıyaslama veri setini oluşturdular ve çeşitli yöntemleri değerlendirdiler; en iyi yaklaşımların bile sorumlu ajantı belirlemede yalnızca %53,5 doğruluk elde ettiğini buldular.
Penn State Üniversitesi ve Duke Üniversitesi'nden bir ekip, Google DeepMind, Washington Üniversitesi, Meta, NTU ve Oregon Eyalet Üniversitesi araştırmacıları ile birlikte yeni bir araştırma problemi tanımladı: Büyük dil modelleri (large language model, LLM) tarafından yönlendirilen çoklu etmen sistemlerinde otomatik hata ataması. Ekip, 127 çoklu etmen sisteminden gelen hata kayıtlarını içeren, sorumlu etmen, belirleyici hata adımı ve doğal dil açıklaması için insan ek açıklamalarına sahip ilk kıyaslama veri seti olan Who&When'ı oluşturdu. Araştırmacılar üç atama yöntemi geliştirip değerlendirdi: Tümü Bir Anda (All-at-Once), Adım Adım (Step-by-Step) ve İkili Arama (Binary Search). GPT-4o ile yapılan deneyler, en iyi tek yöntemin sorumlu etmeni belirlemede yalnızca %53.5, hata adımını belirlemede ise %14.2 doğruluk elde ettiğini gösterdi. Hibrit yaklaşımlar performansı artırdı ancak daha yüksek hesaplama maliyetiyle. Makale, ICML 2025'te Spotlight sunumu olarak kabul edildi ve kod ile veri seti açık kaynak olarak yayımlandı.
Kaynak: Synced —
orijinal