Оценка AI-агентов: производственный шаблон с Strands и AgentCore от AWS и Motorway
Amazon/AWS
Amazon Web Services
Anthropic
Motorway, британский онлайн-рынок автомобилей, в партнерстве с AWS создал AI-агента для поиска дилерских автомобилей. Они разработали пайплайн оценки, объединяющий Strands Agents SDK и Amazon Bedrock AgentCore, что позволило сократить долю неверных результатов с 1 из 8 запросов до 1 из 50 и уменьшить время обнаружения проблем с часов до минут. Шаблон включает трёхуровневую структуру оценки для проверки использования инструментов, рассуждений и качества вывода, а также контрольные точки качества, блокирующие развёртывание при падении метрик ниже пороговых значений.
Motorway проводит ежедневный аукцион, где до 8 000 дилеров торгуются за 2 500 автомобилей. Совместно с AWS компания создала ИИ-агента, который позволяет дилерам искать среди стока с помощью запросов на естественном языке вместо ручной фильтрации. Агент использует восемь инструментов, объединяющих структурированную фильтрацию по 89 атрибутам автомобилей с семантическим поиском на основе векторов
Показать ещё ↓
Источник: AWS ML blog —
оригинал