Evaluando agentes de IA: una plantilla de producción con Strands y AgentCore de AWS y Motorway

Motorway, el mercado de coches online británico donde hasta 8.000 concesionarios pujan cada día por 2.500 vehículos, ha creado en colaboración con AWS PACE un agente de inteligencia artificial para buscar coches en los inventarios de los concesionarios. El agente utiliza ocho herramientas, combinando filtrado estructurado por 89 atributos con búsqueda vectorial basada en LanceDB y Amazon Titan Text Embeddings V2. Para garantizar la fiabilidad del agente, Motorway y AWS construyeron un pipeline de evaluación que redujo la proporción de resultados incorrectos de 1 de cada 8 a 1 de cada 50 consultas, y acortó el tiempo de detección de problemas de varias horas a unos minutos. El pipeline incluye una estrategia en dos fases: pruebas durante la compilación con la librería strands-agents-evals y monitorización en producción con Amazon Bedrock AgentCore Evaluations. La evaluación se realiza en tres niveles: uso de herramientas (umbral >95%), lógica de razonamiento (>85%) y calidad de salida (>90%). Para combatir la no determinación de los modelos de lenguaje extenso (LLM, por sus siglas en inglés), se aplica la métrica pass^k: la probabilidad de superar k intentos consecutivos. El pipeline consta de cinco etapas de despliegue con puertas de calidad. En el repositorio complementario se proporciona una plantilla desplegable, adaptable a otros agentes.