Đánh giá AI Agents: Một blueprint sản xuất với Strands và AgentCore từ AWS và Motorway

Motorway vận hành một cuộc đấu giá hàng ngày với tối đa 8.000 đại lý tham gia đấu giá trên tối đa 2.500 xe. Làm việc với AWS, họ đã xây dựng một tác nhân trí tuệ nhân tạo cho phép các đại lý tìm kiếm hàng tồn kho bằng các truy vấn ngôn ngữ tự nhiên thay vì lọc thủ công. Tác nhân này cung cấp tám công cụ kết hợp lọc có cấu trúc qua 89 thuộc tính xe với tìm kiếm tương tự vector qua LanceDB và Amazon Titan Text Embeddings V2. Để đảm bảo độ tin cậy, họ đã tạo ra một chiến lược đánh giá hai giai đoạn: kiểm thử trong quá trình xây dựng với strands-agents-evals và giám sát sản xuất với Amazon Bedrock AgentCore Evaluations. Một khung ba lớp đánh giá việc sử dụng công cụ (ngưỡng trên 95%), lý luận (trên 85%) và chất lượng đầu ra (trên 90%). Một chỉ số pass^k xử lý tính không xác định: đối với các tác nhân hướng tới khách hàng, thành công trong các thử nghiệm liên tiếp là quan trọng nhất. Quy trình đã giảm kết quả không chính xác từ 1 trong 8 truy vấn xuống còn 1 trong 50 và giảm thời gian phát hiện vấn đề từ hàng giờ xuống còn vài phút. Một kho lưu trữ đi kèm cung cấp một bản thiết kế có thể triển khai, có thể thích ứng cho các tác nhân khác.