智能体AI安全 🇺🇸 23.07.2026 23:49

Amazon Bedrock AgentCore:检测隐藏的AI代理故障

Amazon/AWSAmazon/AWS
Amazon Bedrock推出了AgentCore优化功能,能够识别AI代理的“无声”故障——即标准指标(99%成功率、零错误)无法捕获的行为错误。该工具分析会话追踪,将故障聚类(11种类型,包括幻觉、错误动作),并指示根本原因,提供优先修复方案。除故障外,AgentCore还展示用户意图分布以及代理的实际策略。
Amazon Bedrock 推出了 AgentCore 优化功能,旨在检测标准监控无法发现的 AI 智能体行为故障:系统显示成功率 99%、零延迟、无错误,但客户却抱怨结果不正确(例如,订单修改未执行或审核步骤被跳过)。AgentCore 分析通过 CloudWatch 收集的会话轨迹,并按照 11 类分类法(幻觉、错误操作、指令违反、编排错误等)对故障进行结构化处理,甚至能识别那些不产生错误信号的故障。该系统将故障按数百个会话进行聚类,确定根本原因(例如,未调用工具就虚构财务数据),并根据受影响会话的比例对集群进行排序,使开发者能立即看到哪个问题影响了 30% 的流量,哪个仅影响三个会话。AgentCore 还会对用户请求进行聚类(显示目标场景、部分支持场景和未预见场景各占多少流量),并为每个会话提取可执行摘要,揭示智能体预期行为与实际行为之间的差异。配置包括选择分析类型(故障、意图、执行)、指定轨迹来源(来自 AgentCore 的智能体或直接来自 CloudWatch)以及计划(单次或定期)。例如:一个市场趋势智能体在每 10 个会话中有 1 个会虚构财务数据,而不使用工具;修复方法是加强系统提示。这些洞察将可观测性模型从被动查看轨迹转变为主动发现模式,使得可以优先修复最关键的问题。
来源: AWS ML blog — 原文
我们之前关于此话题的帖子 ↓
最新新闻