Autonomer KI-Agent überwacht vier Monate lang Produktionslogs: 113 Warnungen, 2 Halluzinationen und ein Fix in 3,5 Stunden

Der KI-Agent überwacht Produktionslogs für die Creatorry-Plattform, die mit KI Musik, Fotos und Videos generiert. Das System umfasst 18 Dienste und protokolliert täglich etwa 300.000 Zeilen, von denen rund 12.500 Fehler oder Warnungen sind. Der Agent läuft alle 30 Minuten, fragt Loki nach aktuellen Fehlern ab und sendet nur dann Warnmeldungen an Telegram, wenn er kritische Probleme oder einen signifikanten Anstieg der Fehlerrate erkennt. Über 84 Tage hinweg gab der Agent 113 Warnungen aus, darunter 69 Fehler, 41 kritische Meldungen und drei frühe Einträge ohne Schweregradkennzeichnung. Die wirkungsvollste Warnung erkannte früh am 1. Juni einen kritischen Fehler, der zu einem Fix führte, der innerhalb von 3,5 Stunden zusammengeführt wurde. Der Agent entdeckte auch eine Welle von 503-Fehlern, die zeigte, dass ein Fallback-Anbieter nicht genutzt wurde. Allerdings halluzinierte der Agent zweimal: einmal durch die Erfindung eines Bot-Tokens und ein weiteres Mal durch die Meldung überhöhter Fehlerzahlen. Um dem entgegenzuwirken, implementierte das Team einen Verifikationsschritt, bei dem ein separates Modell die Fehler mit verschiedenen Methoden neu zählt, und sie setzten eine strenge Verhältnisschwelle von 2,0 fest, um unbestätigte Warnungen abzulehnen. Der Agent verwendete zunächst Claude Opus, wechselte aber aufgrund der Ausführlichkeit und hohen Kosten zurück zu MiniMax-M3. Der Agent verbraucht etwa 435 Millionen Tokens pro Monat mit einem 10-Dollar-Abo, wobei die meisten Tokens aus gecachten Lesevorgängen stammen. Das Team betont die Sicherheit vor Prompt-Injection, da Logs nicht vertrauenswürdige Eingaben sind, aber der Agent hat nur Lesezugriff und sendet ausschließlich an den eigenen Telegram-Kanal. Insgesamt läuft das System seit 135 Tagen, mit etwa einem Monat Ausfallzeit aufgrund verschiedener Probleme.