Agente de IA autônomo monitora logs de produção por 4 meses: 113 alertas, 2 alucinações e uma correção em 3,5 horas

O agente de IA monitora os logs de produção da plataforma Creatorry, que gera música, fotos e vídeos usando IA. O sistema é composto por 18 serviços, registrando aproximadamente 300.000 linhas diariamente, das quais cerca de 12.500 são erros ou avisos. O agente roda a cada 30 minutos, consultando o Loki para erros recentes, e só envia alertas para o Telegram se detectar problemas críticos ou um pico significativo nas taxas de erro. Em 84 dias, o agente emitiu 113 alertas, com 69 erros, 41 críticos e três entradas iniciais sem rótulos de gravidade. O alerta mais impactante detectou um erro crítico no início de 1º de junho, levando a uma correção que foi incorporada em 3,5 horas. O agente também capturou uma onda de erros 503 que revelou que um provedor de fallback não estava sendo usado. No entanto, o agente alucinou duas vezes: uma ao inventar um token de bot e outra ao relatar contagens de erros infladas. Para combater isso, a equipe implementou uma etapa de verificação em que um modelo separado recontabiliza os erros usando métodos diferentes e estabeleceu um limite estrito de proporção de 2,0 para rejeitar alertas não verificados. O agente inicialmente usou o Claude Opus, mas voltou para o MiniMax-M3 devido à verbosidade do Opus e ao alto custo. O agente consome cerca de 435 milhões de tokens por mês em uma assinatura de $10, com a maioria dos tokens vindo de leituras em cache. A equipe enfatiza a segurança contra injeção de prompts, pois os logs são entrada não confiável, mas o agente tem acesso somente leitura e envia apenas para o próprio canal do Telegram. No total, o sistema está em funcionamento há 135 dias, com cerca de um mês de inatividade devido a vários problemas.