Mengevaluasi Agen AI: Cetak Biru Produksi dengan Strands dan AgentCore dari AWS dan Motorway

Motorway menjalankan lelang harian di mana hingga 8.000 dealer menawar hingga 2.500 kendaraan. Bekerja sama dengan AWS, mereka membangun agen AI yang memungkinkan dealer mencari stok menggunakan pertanyaan bahasa alami, bukan penyaringan manual. Agen ini mengekspos delapan alat yang menggabungkan penyaringan terstruktur pada 89 atribut kendaraan dengan pencarian kesamaan vektor melalui LanceDB dan Amazon Titan Text Embeddings V2. Untuk memastikan keandalan, mereka menciptakan strategi evaluasi dua fase: pengujian saat pembuatan menggunakan strands-agents-evals dan pemantauan produksi dengan Amazon Bedrock AgentCore Evaluations. Kerangka kerja tiga lapis menilai penggunaan alat (ambang batas di atas 95%), penalaran (di atas 85%), dan kualitas keluaran (di atas 90%). Metrik pass^k menangani non-determinisme: untuk agen yang menghadap pelanggan, keberhasilan uji coba berturut-turut adalah yang paling penting. Pipeline ini mengurangi hasil yang salah dari 1 dari 8 kueri menjadi 1 dari 50 dan memangkas waktu deteksi masalah dari jam menjadi menit. Repositori pendamping menyediakan cetak biru yang dapat diterapkan dan dapat disesuaikan untuk agen lain.