Amazon Bedrock AgentCore : détection des défaillances cachées des agents IA

L'optimisation d'Amazon Bedrock AgentCore répond à un problème courant dans l'exploitation d'agents IA à grande échelle : les défaillances comportementales qui se terminent sans erreur mais produisent des résultats incorrects, comme une modification de commande jamais exécutée ou un produit signalé comme en stock après un délai d'attente de l'API. Les tableaux de bord traditionnels affichent des indicateurs verts malgré ces problèmes, qui ne se manifestent que par des escalades de clients. AgentCore analyse les traces de sessions pour détecter 11 catégories de défaillances, notamment les hallucinations, les actions incorrectes et les erreurs d'orchestration, en les regroupant en clusters classés par nombre de sessions affectées afin de distinguer les problèmes systématiques des cas isolés. Il fournit également une analyse des intentions des utilisateurs via le clustering de requêtes et des résumés d'exécution montrant comment les agents répondent par rapport à la conception prévue. Les utilisateurs peuvent configurer des rapports récurrents ou ponctuels via la console AgentCore, en sélectionnant l'analyse des défaillances, l'analyse des intentions des utilisateurs ou le résumé d'exécution, et connecter des points de terminaison d'agent ou des groupes de journaux CloudWatch. Dans une démonstration avec un agent de tendances du marché, l'analyse des défaillances a identifié un cas d'hallucination où l'agent a fabriqué des données financières sans invocation d'outil ; l'analyse des intentions des utilisateurs a montré que 50 % du trafic concernait la récupération de profils et de portefeuilles ; les résumés d'exécution ont mis en évidence des divergences de stratégie. Cela transforme l'observabilité, passant d'une inspection réactive des traces à une détection proactive des schémas.