Évaluation des agents IA : un plan de production avec Strands et AgentCore d'AWS et Motorway

Motorway organise une vente aux enchères quotidienne où jusqu'à 8 000 concessionnaires enchérissent sur jusqu'à 2 500 véhicules. En collaboration avec AWS, ils ont développé un agent d'IA qui permet aux concessionnaires de rechercher des stocks en utilisant des requêtes en langage naturel au lieu d'un filtrage manuel. L'agent expose huit outils combinant le filtrage structuré sur 89 attributs de véhicules avec une recherche de similarité vectorielle via LanceDB et Amazon Titan Text Embeddings V2. Pour garantir la fiabilité, ils ont créé une stratégie d'évaluation en deux phases : des tests de construction avec strands-agents-evals et une surveillance en production avec Amazon Bedrock AgentCore Evaluations. Un cadre à trois couches évalue l'utilisation des outils (seuil supérieur à 95 %), le raisonnement (supérieur à 85 %) et la qualité des résultats (supérieur à 90 %). Une métrique pass^k gère le non-déterminisme : pour les agents orientés clients, le succès consécutif des essais est le plus important. Le pipeline a réduit les résultats incorrects de 1 requête sur 8 à 1 sur 50 et a réduit le temps de détection des problèmes de plusieurs heures à quelques minutes. Un référentiel compagnon fournit un plan déployable adaptable à d'autres agents.