Évaluation des agents IA : un modèle de production avec Strands et AgentCore d'AWS et Motorway

Motorway, le marché automobile en ligne britannique où jusqu'à 8 000 concessionnaires enchérissent quotidiennement sur 2 500 véhicules, a créé conjointement avec AWS PACE un agent d'IA pour rechercher des voitures dans les stocks des concessionnaires. L'agent utilise huit outils, alliant un filtrage structuré basé sur 89 attributs à une recherche vectorielle reposant sur LanceDB et Amazon Titan Text Embeddings V2. Pour garantir la fiabilité de l'agent, Motorway et AWS ont mis en place un pipeline d'évaluation qui a réduit la proportion de résultats erronés de 1 requête sur 8 à 1 sur 50, et a diminué le temps de détection des problèmes de plusieurs heures à quelques minutes. Le pipeline comprend une stratégie en deux phases : des tests lors de la construction à l'aide de la bibliothèque strands-agents-evals, et une surveillance en production avec Amazon Bedrock AgentCore Evaluations. L'évaluation porte sur trois niveaux : l'utilisation des outils (seuil >95 %), la logique de raisonnement (>85 %) et la qualité des résultats (>90 %). Pour lutter contre le non-déterminisme des grands modèles de langage, la métrique « pass^k » est employée, représentant la probabilité de réussite de k tentatives consécutives. Le pipeline comprend cinq étapes de déploiement avec des jalons qualité. Un modèle déployable adaptable à d'autres agents est fourni dans le dépôt compagnon.