Automatische Schuldzuweisung in LLM-basierten Multi-Agenten-Systemen: Neue Forschung

Forschende der Pennsylvania State University und der Duke University haben zusammen mit Google DeepMind, der University of Washington, Meta, der Nanyang Technological University und der Oregon State University erstmals die Aufgabe der automatischen Fehlerzuordnung in Multi-Agenten-Systemen formalisiert, die auf großen Sprachmodellen (Large Language Models, LLMs) basieren. Sie erstellten den ersten Benchmark namens Who&When, der 127 Fehlerprotokolle aus LLM-Agenten-Systemen umfasst, sowohl algorithmisch generiert als auch manuell von Experten verfasst. Jedes Protokoll enthält Annotationen: den verantwortlichen Agenten (Who), den Fehlerschritt (When) und eine Beschreibung der Ursache (Why). Für die Aufgabe werden drei Methoden vorgeschlagen: All-at-Once (gleichzeitige Analyse des gesamten Protokolls), Step-by-Step (schrittweise Überprüfung) und Binary Search (binäre Suche über das Protokoll). Experimente mit GPT-4o zeigten, dass die beste einzelne Methode eine Genauigkeit von 53,5 % bei der Identifizierung des verantwortlichen Agenten erreicht und nur 14,2 % bei der exakten Bestimmung des Fehlerschritts. Keine Methode übertrifft bei vielen Metriken das Raten. Selbst fortgeschrittene Modelle wie o1 und DeepSeek R1 haben Schwierigkeiten. Hybride Ansätze verbessern die Ergebnisse, erhöhen jedoch die Rechenkosten erheblich. Mit zunehmender Kontextlänge nimmt die Leistung aller Methoden ab, insbesondere bei der Bestimmung des Fehlerschritts. Die Arbeit wurde als Spotlight auf der ICML 2025 angenommen; Code und Daten sind als Open Source verfügbar.