KI-Agenten: Arbeit parallelisieren, ohne Fehler zu parallelisieren

Forscher haben einen Benchmark namens Horizon entwickelt und mehr als 3.100 Agenten-Trajektorien in verschiedenen Umgebungen analysiert, darunter Web, Betriebssysteme, Datenbanken und verkörperte Umgebungen. Die Experimente umfassten Agenten, die Modelle von OpenAI und Anthropic verwendeten. Die Ergebnisse zeigen, dass die Leistung bei längeren Aufgaben nicht allmählich abnimmt, sondern stabil bleiben kann und dann abrupt über einer bestimmten Schwelle zusammenbricht. Es wurden sieben Hauptkategorien von Fehlern identifiziert, die in zwei Familien gruppiert sind: 72,5 % der Fehler sind mit prozessbezogenen Risiken verbunden und 27,5 % mit Risiken im Agentendesign. Anthropic hebt ein Phänomen namens "Kontextverschmutzung" hervor, bei dem angesammelte Zwischeninformationen den Kontext des Agenten überladen und das Urteilsvermögen beeinträchtigen. Die Studie legt nahe, dass die Aufteilung einer Aufgabe in unabhängige Teilaufgaben, die von separaten Agenten bearbeitet werden, funktioniert, während die Aufteilung in Phasen wie Design, Implementierung und Testen, die zu viel Kontext gemeinsam haben, zu Informationsverlust führt, ähnlich wie beim Spiel "Stille Post". Für Führungskräfte sind vier Fragen entscheidend: Wer hat die Entscheidung getroffen, auf welcher Grundlage, zu welchen Kosten und ob ein einzelner fehlgeschlagener Schritt unabhängig wiederholt werden kann. Ohne Wiederholbarkeit starten Vorfälle alles neu, und eine unsachgemäße Aufteilung kann drei bis zehn Mal so viel kosten wie ein einzelner Agent.