Forscher von PSU und Duke stellen automatische Fehlerzuordnung für Multi-Agenten-Systeme vor
Google DeepMind
Meta
OpenAI
DeepSeek
Forscher der Penn State University und der Duke University haben in Zusammenarbeit mit Google DeepMind und anderen das Problem der automatischen Fehlerzuordnung in LLM-Multi-Agenten-Systemen formalisiert. Sie erstellten den ersten Benchmark-Datensatz, Who&When, und evaluierten mehrere Methoden. Dabei stellten sie fest, dass selbst die besten Ansätze nur eine Genauigkeit von 53,5 Prozent bei der Identifizierung des verantwortlichen Agenten erreichen.
Ein Team der Penn State University und der Duke University hat zusammen mit Forschern von Google DeepMind, der University of Washington, Meta, der NTU und der Oregon State University ein neues Forschungsproblem definiert: die automatisierte Fehlerzuweisung in LLM-gesteuerten Multi-Agenten-Systemen. Sie erstellten den ersten Benchmark-Datensatz namens Who&When, der Fehlerprotokolle von 127 Multi-Agenten-Systemen mit manuellen Annotationen für den verantwortlichen Agenten, den entscheidenden Fehlerschritt und eine natürlichsprachliche Erklärung enthält. Die Forscher entwickelten und evaluierten drei Zuweisungsmethoden: All-at-Once, Step-by-Step und Binary Search. Experimente mit GPT-4o zeigten, dass die beste einzelne Methode nur eine Genauigkeit von 53,5% bei der Identifizierung des verantwortlichen Agenten und 14,2% bei der genauen Bestimmung des Fehlerschritts erreichte. Hybride Ansätze verbesserten die Leistung, jedoch zu höheren Rechenkosten. Der Beitrag wurde als Spotlight-Präsentation auf der ICML 2025 angenommen, und der Code sowie der Datensatz sind als Open Source verfügbar.
Quelle: Synced —
Original