Google: Penalaran Membantu Model Bahasa Mengingat Fakta Melalui Buffer dan Priming

Google Research mempelajari mengapa penalaran membantu LLM mengingat fakta sederhana ketika tidak diperlukan langkah-langkah kompleks. Mereka menemukan dua mekanisme: buffer komputasional di mana token tambahan yang tidak bermakna menyediakan lebih banyak pemrosesan, dan priming faktual di mana menghasilkan fakta terkait memicu pengingatan yang benar. Eksperimen menggunakan Gemini-2.5 (Flash dan Pro) dan Qwen3-32B pada dataset SimpleQA Verified dan EntityQuestions. Efek buffer meningkatkan pengingatan tetapi memiliki hasil yang semakin berkurang, sementara jejak penalaran alami yang sering memunculkan fakta terkait memberikan kinerja terbaik. Fakta antara yang dihalusinasi mengurangi akurasi. Strategi seleksi saat pengujian yang mempertahankan lintasan bebas halusinasi meningkatkan hasil.