Penn State ve Duke'tan Araştırmacılar, Çok Ajanlı Sistemler için Otomatik Hata Atfetmeyi Tanıttı
Google DeepMind
Meta
OpenAI
DeepSeek
Penn State Üniversitesi ve Duke Üniversitesi'nden araştırmacılar, Google DeepMind ve diğerleriyle iş birliği yaparak, büyük dil modelleri (LLM) ile çalışan çok ajanlı sistemlerde otomatik hata atfetme problemini resmileştirdi. Araştırmacılar, Who&When adlı ilk kıyaslama veri kümesini oluşturdu ve çeşitli yöntemleri değerlendirdi; en iyi yaklaşımların bile sorumlu ajantı belirlemede yalnızca %53,5 doğruluk elde ettiğini buldu.
Penn State Üniversitesi ve Duke Üniversitesi'nden bir ekip, Google DeepMind, Washington Üniversitesi, Meta, NTU ve Oregon Eyalet Üniversitesi araştırmacıları ile birlikte yeni bir araştırma problemi tanımladı: Büyük dil modelleri (large language model, LLM) tarafından yönlendirilen çoklu etmen sistemlerinde otomatik hata ataması. Ekip, 127 çoklu etmen sisteminden gelen hata kayıtlarını içeren, sorumlu etmen, belirleyici hata adımı ve doğal dil açıklaması için insan ek açıklamalarına sahip ilk kıyaslama veri seti olan Who&When'ı oluşturdu. Araştırmacılar üç atama yöntemi geliştirip değerlendirdi: Tümü Bir Anda (All-at-Once), Adım Adım (Step-by-Step) ve İkili Arama (Binary Search). GPT-4o ile yapılan deneyler, en iyi tek yöntemin sorumlu etmeni belirlemede yalnızca %53.5, hata adımını belirlemede ise %14.2 doğruluk elde ettiğini gösterdi. Hibrit yaklaşımlar performansı artırdı ancak daha yüksek hesaplama maliyetiyle. Makale, ICML 2025'te Spotlight sunumu olarak kabul edildi ve kod ile veri seti açık kaynak olarak yayımlandı.
Kaynak: Synced —
orijinal