Warum ein KI-Agent tatsächlich günstiger ist als RAG

Der Artikel argumentiert, dass der naive Kostenvergleich zwischen einem RAG-Assistenten und einem Agenten irreführend ist. Ein klassischer RAG-Assistent führt einen einzigen LLM-Aufruf durch und verlässt sich darauf, dass der Nutzer die Anfrage verfeinert, wenn die Antwort falsch ist. In der Praxis geben Nutzer oft nach zwei bis drei Versuchen auf und eskalieren an einen menschlichen Operator, der 10 bis 15 Minuten zur Lösung des Falls benötigt. Dies summiert sich zu weit mehr als einem einzigen LLM-Aufruf. Ein Agent basierend auf dem ReAct-Loop iteriert autonom über Suchwerkzeuge, stellt Hypothesen auf, ruft Textabschnitte ab und synthetisiert eine endgültige Antwort ohne Benutzereingriff. Der ISTOK-Agent des Autors verwendet fünf Werkzeuge: VectorSearch (hybrid dicht plus BM25 über Milvus), Search (PostgreSQL-Volltext), OpenChumk zum Lesen vollständiger Dokumentabschnitte, GetDocumentChunks für das Inhaltsverzeichnis und CallOperator als letzte Möglichkeit nach zwei bis drei eigenen Versuchen. Zur Begrenzung des Kontextfensters versuchte der Agent zunächst eine LLM-Zusammenfassung, fand diese jedoch teuer und unzuverlässig; jetzt verwendet er ein gleitendes Fenster (behalte die letzten sechs Nachrichten, verwerfe älteste Werkzeugnachrichten) mit Zusammenfassung als Fallback (maximal zwei pro Sitzung). Auch die LLM-Aufrufe werden differenziert: günstige Einbettungen und Re-Ranking, leichte Generierung für einfache Schritte, mittlere für typische Schlussfolgerungen und schwere nur für die finale Synthese oder Zusammenfassung. In einem echten Pilotprojekt mit rund 1200 Dokumenten und 1800 monatlichen Anfragen benötigte der Assistent durchschnittlich einen LLM-Aufruf, 2,3 Nutzer-Nachfassungen, eine Eskalationsrate von 34 Prozent, 27 Minuten bis zur Schließung und rund 18.000 Token pro geschlossener Frage. Der Agent benötigte durchschnittlich 6,4 LLM-Aufrufe, 0,3 Nachfassungen, 11 Prozent Eskalation, 4 Minuten bis zur Schließung und rund 15.500 Token. In direkten Kosten kostete die geschlossene Frage des Assistenten rund 52 Rubel (einschließlich Operatorkosten), während die des Agenten rund 17 Rubel kostete, eine Reduzierung um das Dreifache. Der Vorteil des Agenten verschwindet bei einfachen Faktenfragen oder wenn die Wissensdatenbank leer ist, da er dann Iterationen verschwendet. Der Agent protokolliert bei jedem Aufruf die Token-Nutzung und den Werkzeugverlauf, mit Tracing über Arize Phoenix für eine detaillierte Iterationsaufschlüsselung.