Amazon Bedrock AgentCore: Erkennung versteckter KI-Agentenfehler

Die Optimierung von Amazon Bedrock AgentCore adressiert ein häufiges Problem beim Betrieb von KI-Agenten in großem Maßstab: Verhaltensfehler, die ohne Fehler abgeschlossen werden, aber falsche Ergebnisse liefern, z. B. eine nie ausgeführte Bestellungsänderung oder ein Produkt, das nach einem API-Timeout als auf Lager gemeldet wird. Herkömmliche Dashboards zeigen trotz dieser Probleme grüne Metriken an, die erst durch Kundeneskalationen sichtbar werden. AgentCore analysiert Sitzungsabläufe, um 11 Fehlerkategorien zu erkennen, darunter Halluzinationen, falsche Aktionen und Orchestrierungsfehler, und gruppiert sie in Cluster, die nach betroffenen Sitzungen geordnet sind, um systematische Probleme von Randfällen zu unterscheiden. Es bietet außerdem eine Benutzerabsichtsanalyse mittels Anfrageclustering sowie Ausführungszusammenfassungen, die zeigen, wie Agenten im Vergleich zur beabsichtigten Funktionsweise reagieren. Benutzer können über die AgentCore-Konsole einmalige oder wiederkehrende Berichte einrichten, zwischen Fehleranalyse, Benutzerabsichtsanalyse oder Ausführungszusammenfassung wählen und Agent-Endpunkte oder CloudWatch-Loggruppen anbinden. In einer Demo mit einem Markttrend-Agenten identifizierte die Fehleranalyse einen Halluzinationsfall, bei dem der Agent Finanzdaten erfand, ohne ein Tool aufzurufen; die Benutzerabsichtsanalyse zeigte, dass 50 % des Datenverkehrs dem Abruf von Profilen und Portfolios dienten; Ausführungszusammenfassungen hoben Strategieabweichungen hervor. Dies verschiebt die Beobachtbarkeit von reaktiver Ablaufprüfung hin zur proaktiven Mustererkennung.