Vì sao tác tử AI giọng nói ngắt lời người dùng: Đo trên API thực tế và khắc phục bằng quy tắc cú pháp tiếng Nga

Một kỹ sư đã đo độ trễ trong phản hồi AI bằng giọng nói sử dụng một cụm từ tiếng Nga được tổng hợp thông qua Yandex Realtime API (tương thích với OpenAI Realtime). Họ đã thay đổi tham số silence_duration_ms: với 400 ms hoặc 800 ms, tác nhân phản hồi gần như ngay lập tức nhưng chỉ nghe được lời chào, bỏ lỡ câu hỏi thực sự. Với 1200 ms, toàn bộ cụm từ được nhận dạng, nhưng độ trễ là 1275 ms, trong đó chỉ có 75 ms là xử lý mô hình. Họ đã xây dựng một bộ phát hiện dựa trên quy tắc cho cú pháp tiếng Nga để quyết định ngưỡng im lặng phù hợp: 250 ms nếu phát ngôn có khả năng hoàn chỉnh, 1400 ms nếu không hoàn chỉnh (ví dụ: kết thúc bằng giới từ hoặc liên từ), và 700 ms nếu không chắc chắn. Trên một tập kiểm tra gồm 72 cụm từ theo phong cách điện thoại thực tế, phương pháp này đạt độ chính xác 97% (70 trên 72), giảm số lần ngắt lời từ 38 xuống 2 và giảm thời gian im lặng trung bình trước câu trả lời từ 1200 ms xuống 316 ms. Hai thất bại còn lại là về ngữ dụng (ví dụ: 'không, bạn đã hiểu nhầm tôi'), mà các quy tắc không thể xử lý; tác giả dự định so sánh với một mô hình ngữ nghĩa đã được huấn luyện. Họ cũng cảnh báo về việc cắt bỏ khoảng im lặng ở đầu và cuối khi đo độ trễ trên giọng nói tổng hợp, nếu không kết quả sẽ bị sai lệch.