Falhas de agentes de IA: por que os dashboards estão verdes, mas os agentes mentem por dias

Agentes de IA falham de maneira diferente dos serviços tradicionais: eles não travam, mas degradam-se lentamente, tornando as métricas padrão de disponibilidade e taxa de erro inúteis. Os agentes tomam decisões não determinísticas a cada etapa, portanto, as falhas ocorrem nos ciclos de raciocínio, e não nas respostas finais. Para alcançar observabilidade, as equipes devem rastrear todo o ciclo de raciocínio com um ID de rastreamento único, medir métricas no nível do agente, como precisão na seleção de ferramentas e taxa de conclusão de objetivos, avaliar uma amostra de respostas usando um LLM como juiz, versionar os prompts no Git e escrever telemetria para dois destinos (por exemplo, provedor de nuvem e ferramentas especializadas) para evitar dependência de fornecedor. Essas práticas são essenciais mesmo antes que ferramentas especializadas de observabilidade para agentes amadureçam.