Tại sao ngay cả LLM hoàn hảo cũng không khiến các hệ thống tác tử trở nên dự đoán được

Bài viết xem xét tính không thể đoán trước của các hệ thống đa tác tử dựa trên LLM ngay cả khi không có ảo giác. Tác giả tiến hành thử nghiệm với mô hình Qwen Instruct 30B ở nhiệt độ 0: với tám câu hỏi tương tự nhau về tính xác định của LLM, mô hình đưa ra hai câu trả lời trái ngược nhau, mặc dù mỗi truy vấn riêng lẻ được tái tạo giống hệt nhau. Độ tương tự ngữ nghĩa của các câu hỏi, đo qua chỉ số BAAI/bge-m3, là 0,30–0,39, nghĩa là chúng gần như không thể phân biệt đối với người dùng. Tiếp theo, tác giả mô phỏng hành vi của một chuỗi tác tử bằng cách sử dụng bản đồ logistic—một phép biến đổi phi tuyến của các trạng thái. Với các giá trị ban đầu tương ứng với độ tương tự ngữ nghĩa, các quỹ đạo phân kỳ hỗn loạn ở bước 15, mặc dù mỗi bước đều xác định. Kết luận: khả năng dự đoán của một tác tử đơn lẻ không đảm bảo khả năng dự đoán của tổ hợp do tính phi tuyến và sự tích lũy lỗi. Các khuyến nghị thực tế bao gồm giới hạn độ dài của chuỗi tuần tự, giới thiệu các điểm xác minh, sử dụng cấu trúc song song và kiểm tra đường ống trên các đầu vào tương tự về mặt ngữ nghĩa.