Leere Regale oder verlorene Schlüssel? Abruf ist der Engpass für parametrische Faktizität

Die Google-Research-Wissenschaftler Nitay Calderon und Gal Yona schlagen ein verhaltensbasiertes Rahmenwerk namens Knowledge Profiling vor, um zu unterscheiden, ob faktische Fehler in großen Sprachmodellen auf fehlendes Wissen (Enkodierungsfehler) oder auf nicht abrufbares Wissen (Abruffehler) zurückzuführen sind. Sie führen WikiProfile ein, einen Benchmark mit 2.150 aus Wikipedia abgeleiteten Fakten, jeweils gepaart mit Fragen, die Enkodierung, Abruf und Wiedererkennung untersuchen. Die Auswertung von 13 großen Sprachmodellen mit und ohne Denkprozess zeigt, dass Spitzenmodelle wie Gemini-3-Pro und GPT-5 95–98 Prozent der Fakten enkodieren, aber 26–34 Prozent nicht direkt abrufen können – selbst mit Denkprozess scheitern sie bei 11–12 Prozent. Skalierung in der Gemma-3-Familie reduziert Enkodierungsfehler, während Abruffehler bestehen bleiben, was darauf hindeutet, dass der Abruf der Engpass ist. Der Abruf wird durch den Trainingskontext beeinflusst; Fakten mit langem Schwanz werden enkodiert, sind aber schwer abrufbar, und der Reversal Curse wird als Abrufproblem neu interpretiert, da die Wiedererkennung bei Multiple-Choice-Aufgaben nicht beeinträchtigt ist. Denken verbessert den Abruf am meisten bei seltenen und umgekehrten Fakten und erholt 40–65 Prozent der enkodierten, aber nicht direkt bekannten Fakten, was eher als Mechanismus zur Erleichterung des Abrufs denn als reine Argumentation fungiert.