Lege schappen of verloren sleutels? Terughalen is de bottleneck voor parametrische feitelijkheid

Onderzoekers van Google Research, Nitay Calderon en Gal Yona, stellen een gedragsframework voor dat zij 'knowledge profiling' noemen. Dit framework moet onderscheid maken tussen feitelijke fouten in grote taalmodellen die voortkomen uit ontbrekende kennis (coderingsfout) of uit ontoegankelijke kennis (herinneringsfout). Zij introduceren WikiProfile, een benchmark van 2.150 feiten die zijn afgeleid van Wikipedia. Elk feit wordt gekoppeld aan vragen die het coderen, herinneren en herkennen onderzoeken. Bij de evaluatie van dertien grote taalmodellen, met en zonder denkproces, tonen zij aan dat geavanceerde modellen zoals Gemini-3-Pro en GPT-5 tussen de 95 en 98 procent van de feiten coderen, maar er niet in slagen om direct 26 tot 34 procent te herinneren, zelfs met denkproces blijft dat 11 tot 12 procent. Schaalvergroting binnen de Gemma 3-familie vermindert coderingsfouten, maar herinneringsfouten blijven bestaan, wat aangeeft dat het herinneren de bottleneck is. Het herinneren wordt beïnvloed door de trainingscontext, feiten met een lange staart worden gecodeerd maar zijn moeilijk te herinneren, en de 'reversal curse' wordt geherformuleerd als een herinneringsprobleem, aangezien herkenning bij meerkeuzevragen niet wordt aangetast. Het denkproces verbetert het herinneren het meest voor zeldzame en omgekeerde feiten, en herstelt 40 tot 65 procent van de gecodeerde maar niet direct bekende feiten. Dit fungeert als een mechanisme dat het herinneren vergemakkelijkt in plaats van puur redeneren.