Trình đếm cuộc gọi của Agent AI Giọng nói: 13 Kịch bản Kiểm thử và Chi phí Tính đến từng Xu

Một kỹ sư đã triển khai một trợ lý AI bằng giọng nói cho đường dây điện thoại của một công ty sản xuất nhỏ. Hệ thống sử dụng Voximplant cho phần viễn thông, Yandex Realtime (speech-realtime-250923) cho phần xử lý giọng nói, và Claude để tạo các phiếu đơn hàng. Ban đầu, hệ thống có độ trễ 4 giây, nhưng sau khi sử dụng một máy chủ trung gian (bridge server), âm thanh đầu tiên đã xuất hiện chỉ trong khoảng 554-804 mili giây (ms). Sau đó, kỹ sư này đã xây dựng một hệ thống đo lường chỉ số và chi phí tùy chỉnh, ghi lại 27 trường dữ liệu cho mỗi cuộc gọi vào SQLite. Ba phát hiện quan trọng đã xuất hiện trong quá trình này: các cuộc gọi cá nhân và cuộc gọi rác ban đầu bị phân loại sai thành cuộc gọi mục tiêu; việc hủy một coroutine đang được chờ (awaited coroutine cancellation) có thể âm thầm làm mất dữ liệu ghi log cuộc gọi; và các mô hình thường hỏi lại số điện thoại mà chúng đã biết từ trước. Kỹ sư cũng phát hiện rằng chi phí token chiếm phần lớn ngân sách (66% tổng chi phí), và một mô hình Yandex rẻ hơn lại cho hiệu suất kém hơn. Sau khi kiểm chứng, độ chính xác của bộ đếm chỉ sai lệch trong phạm vi 1% so với hóa đơn thanh toán thực tế. Chi phí cho mỗi cuộc gọi mục tiêu dao động từ 6,8 đến 8,4 rúp, và kỹ sư đã tạo ra 13 tình huống kiểm thử (exam scenarios) để đánh giá hệ thống. Bài viết kết luận rằng việc đo lường dựa trên API (application programming interface) mang tính minh bạch hơn so với mô hình thuê bao (subscription) khi bán lại các dịch vụ này.