LLM Tabanlı Çoklu Aracı Sistemlerde Otomatik Hata Ataması: Yeni Araştırma

Penn State Üniversitesi ve Duke Üniversitesi'nden araştırmacılar, Google DeepMind, Washington Üniversitesi, Meta, Nanyang Teknoloji Üniversitesi ve Oregon Eyalet Üniversitesi ile iş birliği yaparak, büyük dil modellerine (LLM'ler) dayalı çok etmenli sistemlerde otomatik hata atfı görevini ilk kez resmileştirdi. Hem algoritmik olarak üretilen hem de uzmanlar tarafından manuel olarak oluşturulan LLM-etmen sistemlerinden toplanan 127 hata kaydını içeren ilk kıyaslama seti olan Who&When'ı oluşturdular. Her kayıt, sorumlu etmen (Kim), hata adımı (Ne Zaman) ve nedenin açıklaması (Neden) gibi açıklamalar içerir. Görev için üç yöntem önerilmiştir: Tümü Bir Kerede (tüm kaydın eşzamanlı analizi), Adım Adım (adım adım inceleme) ve İkili Arama (kayıt üzerinde ikili arama). GPT-4o ile yapılan deneyler, en iyi tek yöntemin sorumlu etmeni belirlemede %53,5 doğruluk elde ettiğini ve hata adımını tam olarak saptamada yalnızca %14,2 başarı gösterdiğini ortaya koydu. Hiçbir yöntem birçok metrikte rastgele tahminden daha iyi performans göstermiyor. o1 ve DeepSeek R1 gibi gelişmiş modeller bile zorlanıyor. Hibrit yaklaşımlar sonuçları iyileştiriyor ancak hesaplama maliyetlerini önemli ölçüde artırıyor. Bağlam uzunluğu arttıkça, tüm yöntemlerin performansı, özellikle hata adımını belirlemede düşüyor. Çalışma, ICML 2025'te Spotlight olarak kabul edildi; kod ve veriler açık kaynaklıdır.