Google: Suy luận giúp mô hình ngôn ngữ nhớ lại sự kiện thông qua bộ đệm và hiệu ứng mồi

Google Research đã nghiên cứu lý do tại sao suy luận giúp các mô hình ngôn ngữ lớn (LLM) nhớ lại các sự kiện đơn giản khi không cần các bước phức tạp. Họ phát hiện ra hai cơ chế: một bộ đệm tính toán trong đó các token thừa vô nghĩa cung cấp thêm khả năng xử lý, và việc kích hoạt thực tế bằng cách tạo ra các sự kiện liên quan giúp nhớ lại chính xác hơn. Các thử nghiệm sử dụng Gemini-2.5 (Flash và Pro) và Qwen3-32B trên các tập dữ liệu SimpleQA Verified và EntityQuestions. Hiệu ứng bộ đệm cải thiện khả năng nhớ lại nhưng có lợi suất giảm dần, trong khi các dấu vết suy luận tự nhiên thường đưa ra các sự kiện liên quan mang lại hiệu suất tốt nhất. Các sự kiện trung gian bị ảo giác làm giảm độ chính xác. Một chiến lược chọn lọc tại thời điểm kiểm tra, giữ lại các đường dẫn không bị ảo giác, đã cải thiện kết quả.