Amazon Bedrock AgentCore: Deteksi Kegagalan Tersembunyi pada Agen AI

Optimasi Amazon Bedrock AgentCore mengatasi masalah umum dalam mengoperasikan agen AI dalam skala besar: kegagalan perilaku yang selesai tanpa error tetapi menghasilkan hasil yang salah, seperti modifikasi pesanan yang tidak pernah dijalankan atau produk yang dilaporkan tersedia setelah API timeout. Dasbor tradisional menunjukkan metrik hijau meskipun ada masalah ini, yang baru terlihat melalui eskalasi pelanggan. AgentCore menganalisis jejak sesi untuk mendeteksi 11 kategori kegagalan, termasuk halusinasi, tindakan yang salah, dan kesalahan orkestrasi, mengelompokkannya ke dalam klaster yang diurutkan berdasarkan sesi yang terpengaruh untuk membedakan masalah sistematis dari kasus tepi. AgentCore juga menyediakan analisis niat pengguna melalui klasterisasi permintaan dan ringkasan eksekusi yang menunjukkan bagaimana agen merespons versus desain yang dimaksudkan. Pengguna dapat mengatur laporan berkala atau satu kali melalui konsol AgentCore, memilih analisis kegagalan, analisis niat pengguna, atau ringkasan eksekusi, dan menghubungkan titik akhir agen atau grup log CloudWatch. Dalam demo dengan agen tren pasar, analisis kegagalan mengidentifikasi kasus halusinasi di mana agen memfabrikasi data keuangan tanpa pemanggilan alat; analisis niat pengguna menunjukkan 50% lalu lintas adalah pengambilan profil dan portofolio; ringkasan eksekusi menyoroti divergensi strategi. Ini menggeser observabilitas dari inspeksi jejak reaktif ke deteksi pola proaktif.