Amazon Bedrock AgentCore: Erkennung versteckter KI-Agentenfehler

Amazon Bedrock hat eine Optimierung von AgentCore vorgestellt, die darauf abzielt, Verhaltensfehler von KI-Agenten zu erkennen, die durch standardmäßiges Monitoring nicht sichtbar sind: Das System zeigt eine Erfolgsquote von 99%, null Latenz und keine Fehler, aber Kunden beschweren sich über falsche Ergebnisse (z. B. eine nicht ausgeführte Auftragsänderung oder einen übersprungenen Genehmigungsschritt). AgentCore analysiert Sitzungsspuren, die über CloudWatch gesammelt wurden, und strukturiert Fehler nach einer Taxonomie mit 11 Kategorien (Halluzinationen, falsche Aktionen, Anweisungsverstöße, Orchestrierungsfehler usw.), wobei selbst solche erkannt werden, die keine Fehlersignale erzeugen. Das System gruppiert Fehler über Hunderte von Sitzungen hinweg, identifiziert die Grundursache (z. B. erfundene Finanzdaten ohne Tool-Aufrufe) und ordnet die Cluster nach dem Anteil der betroffenen Sitzungen, sodass Entwickler sofort sehen können, welches Problem 30% des Traffics betrifft und welches nur drei Sitzungen. AgentCore clustert auch Benutzeranfragen (zeigt, wie viel Traffic auf beabsichtigte, teilweise unterstützte und nicht vorgesehene Szenarien entfällt) und extrahiert ausführbare Zusammenfassungen für jede Sitzung, wobei Abweichungen zwischen erwartetem und tatsächlichem Agentenverhalten aufgedeckt werden. Die Konfiguration umfasst die Auswahl der Analysetypen (Fehler, Absichten, Ausführung), die Angabe der Spurenquelle (Agent aus AgentCore oder direkt CloudWatch) und den Zeitplan (einmalig oder regelmäßig). Beispiel: Ein Agent für Markttrends hat in 1 von 10 Sitzungen Finanzdaten halluziniert, ohne Tools zu verwenden; die Behebung bestand in der Verstärkung des System-Prompts. Die Erkenntnisse verschieben das Beobachtbarkeitsmodell von reaktiver Spurenansicht hin zur proaktiven Erkennung von Mustern, sodass die kritischsten Probleme zuerst behoben werden können.