Evaluating AI Agents: A Production Template with Strands and AgentCore from AWS and Motorway
Amazon/AWS
Amazon Web Services
Anthropic
Motorway, a British online car marketplace, together with AWS, developed an AI agent evaluation pipeline for searching cars from dealers. The solution reduced incorrect results from 1 in 8 to 1 in 50 queries and cut problem identification time from several hours to a few minutes. At its core is a two-phase evaluation strategy using Strands Agents SDK and Amazon Bedrock AgentCore.
Motorway, британский онлайн-авторынок, где ежедневно до 8000 дилеров торгуются за 2500 автомобилей, совместно с AWS PACE создал ИИ-агента для поиска автомобилей по запасам дилеров. Агент использует восемь инструментов, сочетая структурированную фильтрацию по 89 атрибутам с векторным поиском на базе LanceDB и Amazon Titan Text Embeddings V2. Для обеспечения надежности агента Motorway и AWS построили конвейер оценки, который снизил долю неверных результатов с 1 из 8 до 1 из 50 запросов и сократил время обнаружения проблем с нескольких часов до нескольких минут. Конвейер включает двухфазную стратегию: тестирование во время сборки с помощью библиотеки strands-agents-evals и мониторинг в продакшене с Amazon Bedrock AgentCore Evaluations. Оценка проводится по трем уровням: использование инструментов (порог >95%), логика рассуждений (>85%) и качество вывода (>90%). Для борьбы с недетерминированностью LLM применяется метрика pass^k — вероятность успешного прохождения k последовательных попыток. Конвейер включает пять этапов развертывания с качественными воротами. В репозитории-компаньоне предоставлен развертываемый шаблон, адаптируемый под других агентов.
Bron: AWS ML blog —
origineel