Mengoptimalkan Agen Produksi dengan Amazon Bedrock AgentCore Observability

Postingan ini adalah Bagian 2 dari seri tentang debugging agen AI, yang berfokus pada agen yang bekerja dengan benar tetapi berkinerja buruk. Skenario 3 membahas kemacetan kinerja: gejalanya meliputi peningkatan latensi secara bertahap, waktu respons P95 melebihi ambang batas, tetapi tingkat kesalahan rendah. Untuk mendiagnosis, kueri CloudWatch untuk pemanggilan berlatensi tinggi, analisis linimasa permintaan melalui jejak OpenTelemetry, dan periksa latensi pengambilan memori (harus di bawah 200ms) dan latensi pemanggilan alat. Penyebab akar meliputi eksekusi alat yang lambat, pembuatan token yang berlebihan, dan pemrosesan berurutan. Perbaikannya meliputi caching, connection pooling, pengindeksan basis data, mengoptimalkan prompt agar ringkas, dan menjalankan panggilan alat independen secara paralel. Skenario 4 membahas masalah memori dalam sesi yang berjalan lama, di mana penggunaan memori tumbuh tanpa batas, menyebabkan batas token dan kegagalan sesi. Untuk mengidentifikasinya, kueri sesi panjang dengan penggunaan memori tinggi, periksa pola ekstraksi memori, dan periksa kegagalan ekstraksi. Penyebab akar meliputi pengaturan yang salah konfigurasi; perbaikan melibatkan konsolidasi memori, template namespace, dan menetapkan eventExpiryDuration. Postingan ditutup dengan praktik terbaik produksi: instrumentasi komprehensif, alarm CloudWatch, dasbor, dan penggunaan AgentCore Evaluators dan Insights untuk pemantauan proaktif.