تقييم وكلاء الذكاء الاصطناعي: قالب إنتاجي باستخدام Strands و AgentCore من AWS و Motorway

Motorway, سوق السيارات البريطاني عبر الإنترنت حيث يتنافس يوميًا ما يصل إلى 8000 تاجر على 2500 سيارة، تعاون مع AWS PACE لإنشاء وكيل ذكاء اصطناعي للبحث عن السيارات في مخزون التجار. يستخدم الوكيل ثماني أدوات، يجمع بين التصفية المنظمة عبر 89 سمة والبحث المتجهي المعتمد على LanceDB و Amazon Titan Text Embeddings V2. لضمان موثوقية الوكيل، بنت Motorway و AWS خط أنابيب تقييم خفض نسبة النتائج غير الصحيحة من 1 من أصل 8 إلى 1 من أصل 50 استعلامًا، وقلص وقت اكتشاف المشكلات من عدة ساعات إلى عدة دقائق. يتضمن خط الأنابيب استراتيجية من مرحلتين: الاختبار أثناء البناء باستخدام مكتبة strands-agents-evals والمراقبة في الإنتاج باستخدام Amazon Bedrock AgentCore Evaluations. يتم التقييم عبر ثلاثة مستويات: استخدام الأدوات (عتبة >95%)، منطق الاستدلال (>85%)، وجودة المخرجات (>90%). لمكافحة عدم الحتمية في نماذج اللغة الكبيرة، تُطبق مقياس pass^k الذي يمثل احتمال النجاح في k محاولة متتالية. يتضمن خط الأنابيب خمس مراحل نشر مع بوابات جودة. يوفر المستودع المصاحب قالبًا قابلًا للنشر يمكن تكييفه مع وكلاء آخرين.