Warum selbst ein perfektes LLM agentische Systeme nicht vorhersagbar macht
Beijing Academy of Artificial Intelligence (BAAI)
Selbst wenn ein LLM aufhört zu halluzinieren und deterministisch wird, können darauf basierende Multi-Agenten-Systeme aufgrund nichtlinearer Agenteninteraktionen unvorhersagbar bleiben. Der Autor zeigt anhand von Beispielen, dass semantisch ähnliche Abfragen zu gegensätzlichen Antworten führen können und sich in Agentenketten kleine Abweichungen aufschaukeln und deterministisches Chaos erzeugen.
Der Artikel untersucht die Unvorhersehbarkeit von LLM-basierten Multi-Agenten-Systemen selbst bei null Halluzinationen. Der Autor führt ein Experiment mit dem Qwen Instruct 30B-Modell bei Temperatur 0 durch: Für acht ähnliche Fragen zur Determiniertheit von LLMs gab das Modell zwei gegensätzliche Antworten, obwohl jede einzelne Abfrage identisch reproduziert wurde. Die semantische Ähnlichkeit der Fragen, gemessen mit der Metrik BAAI/bge-m3, betrug 0,30–0,39, was bedeutet, dass sie für den Benutzer praktisch nicht unterscheidbar sind. Als Nächstes simuliert der Autor das Verhalten einer Agentenkette mithilfe einer logistischen Abbildung, einer nichtlinearen Transformation von Zuständen. Bei Anfangswerten, die der semantischen Ähnlichkeit entsprechen, divergieren die Trajektorien chaotisch bis zum Schritt 15, obwohl jeder Schritt deterministisch ist. Schlussfolgerung: Die Vorhersagbarkeit eines einzelnen Agenten garantiert nicht die Vorhersagbarkeit der Komposition aufgrund von Nichtlinearität und Fehlerakkumulation. Praktische Empfehlungen umfassen die Begrenzung der Länge sequenzieller Ketten, die Einführung von Verifikationspunkten, die Verwendung paralleler Strukturen und das Testen der Pipeline mit semantisch ähnlichen Eingaben.
Quelle: Habr — хаб ИИ —
Original