Evaluación de Agentes de IA: un plan de producción con Strands y AgentCore de AWS y Motorway
Amazon/AWS
Amazon Web Services
Anthropic
Motorway, un mercado de coches en línea del Reino Unido, se asoció con AWS para construir un agente de búsqueda de concesionarios impulsado por IA. Desarrollaron un pipeline de evaluación que combina Strands Agents SDK y Amazon Bedrock AgentCore, reduciendo los resultados incorrectos de 1 de cada 8 consultas a 1 de cada 50 y acortando el tiempo de detección de problemas de horas a minutos. El plan incluye un marco de evaluación de tres capas para el uso de herramientas, razonamiento y calidad del resultado, con barreras de calidad que bloquean los despliegues cuando las métricas caen por debajo de los umbrales.
Motorway realiza una subasta diaria donde hasta 8.000 concesionarios pujan por hasta 2.500 vehículos. Trabajando con AWS, desarrollaron un agente de inteligencia artificial que permite a los concesionarios buscar en el inventario mediante consultas en lenguaje natural, en lugar de filtros manuales. El agente expone ocho herramientas que combinan filtrado estructurado a través de 89 atributos del vehículo con búsqueda de similitud vectorial mediante LanceDB y Amazon Titan Text Embeddings V2. Para garantizar la fiabilidad, crearon una estrategia de evaluación en dos fases: pruebas en tiempo de compilación con strands-agents-evals y monitoreo en producción con Amazon Bedrock AgentCore Evaluations. Un marco de tres capas evalúa el uso de herramientas (umbral superior al 95 %), el razonamiento (más del 85 %) y la calidad de salida (más del 90 %). Una métrica pass^k maneja el no determinismo: para agentes orientados al cliente, el éxito consecutivo en pruebas es lo más importante. El pipeline redujo los resultados incorrectos de 1 de cada 8 consultas a 1 de cada 50, y acortó el tiempo de detección de incidencias de horas a minutos. Un repositorio complementario proporciona un modelo desplegable adaptable para otros agentes.
Fuente: AWS ML blog —
original