Un agent IA autonome surveille les journaux de production pendant 4 mois : 113 alertes, 2 hallucinations et une correction en 3,5 heures

L'agent IA surveille les journaux de production de la plateforme Creatorry, qui génère de la musique, des photos et des vidéos à l'aide de l'IA. Le système comprend 18 services, enregistrant environ 300 000 lignes par jour, dont environ 12 500 sont des erreurs ou des avertissements. L'agent s'exécute toutes les 30 minutes, interrogeant Loki pour les erreurs récentes, et n'envoie des alertes à Telegram que s'il détecte des problèmes critiques ou une augmentation significative du taux d'erreurs. Sur 84 jours, l'agent a émis 113 alertes, avec 69 erreurs, 41 critiques et trois entrées précoces sans étiquette de sévérité. L'alerte la plus impactante a détecté une erreur critique tôt le 1er juin, conduisant à un correctif fusionné en 3,5 heures. L'agent a également détecté une vague d'erreurs 503 qui a révélé qu'un fournisseur de secours n'était pas utilisé. Cependant, l'agent a halluciné deux fois : une fois en inventant un jeton de bot et une autre fois en signalant des comptes d'erreurs gonflés. Pour contrer cela, l'équipe a mis en place une étape de vérification où un modèle distinct re-compte les erreurs en utilisant différentes méthodes, et ils ont fixé un seuil de ratio strict de 2,0 pour rejeter les alertes non vérifiées. L'agent utilisait initialement Claude Opus, mais est revenu à MiniMax-M3 en raison de la verbosité d'Opus et de son coût élevé. L'agent consomme environ 435 millions de jetons par mois avec un abonnement de 10 $, la plupart des jetons provenant de lectures en cache. L'équipe met l'accent sur la sécurité contre les injections de prompts, car les journaux sont des entrées non fiables, mais l'agent a un accès en lecture seule et envoie uniquement à leur propre canal Telegram. Au total, le système fonctionne depuis 135 jours, avec environ un mois d'interruption due à divers problèmes.