Yapay Zeka Ajanlarını Değerlendirme: AWS ve Motorway'den Strands ve AgentCore ile Üretim Planı
Amazon/AWS
Amazon Web Services
Anthropic
Motorway, Birleşik Krallık merkezli çevrimiçi araba pazarı, AWS ile iş birliği yaparak yapay zeka destekli bir bayi stok arama ajanı geliştirdi. Strands Ajan SDK ve Amazon Bedrock AgentCore'u birleştiren bir değerlendirme hattı oluşturdular ve hatalı sonuçları 8 sorguda 1'den 50 sorguda 1'e düşürdüler, ayrıca sorun tespit süresini saatlerden dakikalara indirdiler. Plan, araç kullanımı, muhakeme ve çıktı kalitesi için üç katmanlı bir değerlendirme çerçevesi içeriyor ve metrikler eşik değerlerin altına düştüğünde dağıtımları engelleyen kalite kapıları bulunuyor.
Motorway, günde 8.000'e kadar bayinin 2.500 araca teklif verdiği günlük bir açık artırma düzenliyor. AWS ile çalışarak, bayilerin manuel filtreleme yerine doğal dil sorguları kullanarak stokta arama yapmasını sağlayan bir yapay zeka ajanı geliştirdi. Ajan, 89 araç özelliğinde yapılandırılmış filtrelemeyi, LanceDB ve Amazon Titan Text Embeddings V2 aracılığıyla vektör benzerlik aramasıyla birleştiren sekiz araç sunuyor. Güvenilirliği sağlamak için iki aşamalı bir değerlendirme stratejisi oluşturdular: strands-agents-evals ile yapı inşası testi ve Amazon Bedrock AgentCore Evaluations ile üretim izlemesi. Üç katmanlı bir çerçeve, araç kullanımını (%95 eşik), akıl yürütmeyi (%85'in üzeri) ve çıktı kalitesini (%90'ın üzeri) değerlendiriyor. Belirsizlikle başa çıkmak için bir pass^k metriği kullanılıyor: müşteriye yönelik ajanlar için ardışık deneme başarısı en önemli unsur. Süreç, hatalı sonuçları 8 sorguda 1'den 50 sorguda 1'e düşürdü ve sorun tespit süresini saatlerden dakikalara indirdi. Beraberindeki depo, diğer ajanlar için uyarlanabilir, dağıtıma hazır bir plan sağlıyor.
Kaynak: AWS ML blog —
orijinal