Penn State ve Duke Üniversitesi'nden Araştırmacılar, Çok Aracılı Sistemler için Otomatik Hata Atfını Tanıttı
Google DeepMind
Meta
OpenAI
DeepSeek
Penn State Üniversitesi ve Duke Üniversitesi'nden araştırmacılar, Google DeepMind ve diğerleriyle iş birliği yaparak, büyük dil modeli (LLM) tabanlı çok aracılı sistemlerde otomatik hata atfı problemini resmileştirdi. Who&When adlı ilk kıyaslama veri kümesini oluşturdular ve çeşitli yöntemleri değerlendirerek, en iyi yaklaşımların bile sorumlu aracıyı belirlemede yalnızca yüzde 53,5 doğruluk elde ettiğini buldular.
Penn State Üniversitesi ve Duke Üniversitesi'nden bir ekip, Google DeepMind, Washington Üniversitesi, Meta, NTU ve Oregon Eyalet Üniversitesi araştırmacıları ile birlikte yeni bir araştırma problemi tanımladı: Büyük dil modelleri (large language model, LLM) tarafından yönlendirilen çoklu etmen sistemlerinde otomatik hata ataması. Ekip, 127 çoklu etmen sisteminden gelen hata kayıtlarını içeren, sorumlu etmen, belirleyici hata adımı ve doğal dil açıklaması için insan ek açıklamalarına sahip ilk kıyaslama veri seti olan Who&When'ı oluşturdu. Araştırmacılar üç atama yöntemi geliştirip değerlendirdi: Tümü Bir Anda (All-at-Once), Adım Adım (Step-by-Step) ve İkili Arama (Binary Search). GPT-4o ile yapılan deneyler, en iyi tek yöntemin sorumlu etmeni belirlemede yalnızca %53.5, hata adımını belirlemede ise %14.2 doğruluk elde ettiğini gösterdi. Hibrit yaklaşımlar performansı artırdı ancak daha yüksek hesaplama maliyetiyle. Makale, ICML 2025'te Spotlight sunumu olarak kabul edildi ve kod ile veri seti açık kaynak olarak yayımlandı.
Kaynak: Synced —
orijinal