Evaluating AI Agents: A Production Template with Strands and AgentCore from AWS and Motorway
Amazon/AWS
Amazon Web Services
Anthropic
Motorway, a British online car marketplace, together with AWS, developed an AI agent evaluation pipeline for searching cars from dealers. The solution reduced incorrect results from 1 in 8 to 1 in 50 queries and cut problem identification time from several hours to a few minutes. At its core is a two-phase evaluation strategy using Strands Agents SDK and Amazon Bedrock AgentCore.
Motorway, pasar mobil online Inggris tempat hingga 8.000 dealer setiap hari menawar 2.500 mobil, bersama AWS PACE mengembangkan agen AI untuk pencarian mobil berdasarkan stok dealer. Agen ini menggunakan delapan alat, menggabungkan penyaringan terstruktur berdasarkan 89 atribut dengan pencarian vektor berbasis LanceDB dan Amazon Titan Text Embeddings V2. Untuk memastikan keandalan agen, Motorway dan AWS membangun pipeline evaluasi yang mengurangi proporsi hasil salah dari 1 dari 8 menjadi 1 dari 50 kueri dan mempersingkat waktu deteksi masalah dari beberapa jam menjadi beberapa menit. Pipeline ini mencakup strategi dua fase: pengujian saat pembangunan menggunakan pustaka strands-agents-evals dan pemantauan di lingkungan produksi dengan Amazon Bedrock AgentCore Evaluations. Evaluasi dilakukan berdasarkan tiga tingkat: penggunaan alat (ambang >95%), logika penalaran (>85%), dan kualitas keluaran (>90%). Untuk mengatasi ketidakdeterminisan model bahasa besar, digunakan metrik pass^k, yaitu probabilitas melewati k percobaan berturut-turut. Pipeline ini mencakup lima tahap penerapan dengan gerbang kualitas. Repositori pendamping menyediakan templat yang dapat diterapkan dan disesuaikan untuk agen lainnya.
Sumber: AWS ML blog —
asli