Amazon Bedrock AgentCore: Detecção de Falhas Ocultas em Agentes de IA

A otimização do Amazon Bedrock AgentCore aborda um problema comum na operação de agentes de IA em escala: falhas comportamentais que são concluídas sem erros, mas produzem resultados incorretos, como uma modificação de pedido nunca executada ou um produto relatado como em estoque após um tempo limite (timeout) da API. Painéis tradicionais mostram métricas verdes apesar desses problemas, que só aparecem por meio de escalações de clientes. O AgentCore analisa rastros de sessão para detectar 11 categorias de falha, incluindo alucinação, ações incorretas e erros de orquestração, agrupando-as em clusters classificados por sessões afetadas para distinguir problemas sistemáticos de casos isolados. Ele também fornece análise de intenção do usuário por meio de clustering de solicitações e resumos de execução que mostram como os agentes respondem em comparação com o design pretendido. Os usuários podem configurar relatórios recorrentes ou únicos por meio do console do AgentCore, selecionando análise de falhas, análise de intenção do usuário ou resumo de execução, e conectar endpoints de agentes ou grupos de logs do CloudWatch. Em uma demonstração com um agente de tendências de mercado, a análise de falhas identificou um caso de alucinação em que o agente inventou dados financeiros sem invocação de ferramenta; a análise de intenção do usuário mostrou que 50% do tráfego era de recuperação de perfil e portfólio; os resumos de execução destacaram divergências de estratégia. Isso muda a observabilidade de uma inspeção reativa de rastros para uma detecção proativa de padrões.