Обнаружение скрытых ошибок агентов с помощью оптимизации Amazon Bedrock AgentCore

В блоге AWS ML описывается новый функционал Amazon Bedrock AgentCore для обнаружения «бесшумных» ошибок AI-агентов. Такие ошибки, как пропущенный шаг одобрения или невыполненное изменение заказа, не видны в обычных дашбордах (зелёные показатели, 99% успешных завершений), но приводят к жалобам клиентов. AgentCore анализирует трассы сессий, выявляя 11 категорий поведенческих отказов (включая галлюцинации, неверные действия, нарушения инструкций), и кластеризует их. Для каждого кластера проводится анализ первопричин: система обходит граф выполнения, исключая нерелевантные ветви, и определяет точку сбоя, а также даёт рекомендацию по исправлению (изменение системного промпта, уточнение описания инструмента, инфраструктурные работы). Кластеры ранжируются по доле затронутых сессий, что позволяет сразу выделить систематическую проблему, а не единичный случай. Дополнительно AgentCore предлагает анализ намерений пользователей (группирует реальные запросы, показывая расхождение с ожидаемым дизайном) и сводку выполнения (извлекает стратегии, которые применял агент, и их корреляцию с успехом/неудачей). Настройка сервиса производится через консоль AgentCore: можно выбрать типы анализа (отказы, намерения, сводка), источник данных (развёрнутый агент или группа CloudWatch) и расписание (однократный или регулярный отчёт). В примере с агентом рыночных трендов система обнаружила галлюцинацию финансовых данных без вызова инструментов — ошибка, которая не отразилась в метриках, но была выявлена через анализ трасс.