Rak Kosong atau Kunci Hilang? Mengingat Kembali adalah Hambatan bagi Faktualitas Parametrik

Ilmuwan Google Research, Nitay Calderon dan Gal Yona, mengusulkan kerangka kerja berbasis perilaku yang disebut pemrofilan pengetahuan untuk membedakan apakah kesalahan faktual pada model bahasa besar (LLM) berasal dari kurangnya pengetahuan (kegagalan pengodean) atau pengetahuan yang tidak dapat diakses (kegagalan pengingatan). Mereka memperkenalkan WikiProfile, sebuah tolok ukur yang terdiri dari 2.150 fakta yang berasal dari Wikipedia, masing-masing dipasangkan dengan pertanyaan yang menguji pengodean, pengingatan, dan pengenalan. Dengan mengevaluasi 13 LLM dengan dan tanpa proses berpikir, mereka menunjukkan bahwa model kelas atas seperti Gemini-3-Pro dan GPT-5 mengodekan 95–98% fakta tetapi gagal mengingat secara langsung 26–34% fakta, bahkan dengan proses berpikir, kegagalan terjadi pada 11–12%. Peningkatan skala pada keluarga Gemma 3 mengurangi kegagalan pengodean, tetapi kegagalan pengingatan tetap ada, yang menunjukkan bahwa pengingatan merupakan hambatan utama. Pengingatan dipengaruhi oleh konteks pelatihan, fakta ekor panjang terode dengan baik tetapi sulit diingat, dan kutukan pembalikan (reversal curse) dirumuskan ulang sebagai masalah pengingatan, karena pengenalan dalam tugas pilihan ganda tidak terganggu. Proses berpikir paling banyak meningkatkan pengingatan untuk fakta langka dan fakta terbalik, memulihkan 40–65% fakta yang terode tetapi tidak langsung diketahui, yang bertindak sebagai mekanisme fasilitasi pengingatan daripada murni penalaran.