Boş Raflar mı, Kayıp Anahtarlar mı? Hatırlama, Parametrik Olgusallığın Darboğazı

Google Research bilim insanları Nitay Calderon ve Gal Yona, büyük dil modellerindeki (LLM) olgusal hataların eksik bilgiden mi (kodlama hatası) yoksa erişilemeyen bilgiden mi (hatırlama hatası) kaynaklandığını ayırt etmek için bilgi profili çıkarma adı verilen davranışsal bir çerçeve önermektedir. Wikipedia'dan türetilen 2.150 olgudan oluşan bir kıyaslama ölçütü olan WikiProfile'ı tanıtıyorlar; her olgu, kodlama, hatırlama ve tanımayı araştıran sorularla eşleştirilmiştir. Düşünmeli ve düşünmesiz 13 büyük dil modelini değerlendirerek, Gemini-3-Pro ve GPT-5 gibi öncü modellerin olguların %95-98'ini kodladığını ancak doğrudan hatırlamada %26-34 oranında başarısız olduğunu, düşünme ile bile %11-12 oranında başarısız olduğunu gösteriyorlar. Gemma 3 ailesindeki ölçek büyütme kodlama hatalarını azaltıyor ancak hatırlama hataları devam ediyor; bu da hatırlamanın darboğaz olduğunu gösteriyor. Hatırlama; eğitim bağlamından etkileniyor, uzun kuyruk olgular kodlanıyor ancak hatırlanması zor oluyor ve tersine çevirme laneti, çoktan seçmeli görevlerde tanıma bozulmadığı için bir hatırlama sorunu olarak yeniden çerçeveleniyor. Düşünme, hatırlamayı en çok nadir ve ters olgular için geliştiriyor; kodlanmış ancak doğrudan bilinmeyen olguların %40-65'ini geri kazandırıyor ve saf akıl yürütmeden ziyade bir hatırlama kolaylaştırma mekanizması olarak işlev görüyor.