Étagères vides ou clés perdues ? Le rappel est le goulot d'étranglement pour la factualité paramétrique

Les chercheurs de Google Research, Nitay Calderon et Gal Yona, proposent un cadre comportemental appelé profilage des connaissances pour distinguer si les erreurs factuelles dans les grands modèles de langage proviennent d'un manque de connaissances (échec d'encodage) ou d'une connaissance inaccessible (échec de rappel). Ils présentent WikiProfile, un benchmark de 2 150 faits dérivés de Wikipédia, chacun associé à des questions sondant l'encodage, le rappel et la reconnaissance. En évaluant 13 grands modèles de langage avec et sans réflexion, ils montrent que les modèles de pointe comme Gemini-3-Pro et GPT-5 encodent 95 à 98 % des faits mais échouent à rappeler directement 26 à 34 % d'entre eux, même avec une réflexion qui échoue encore sur 11 à 12 %. L'augmentation de l'échelle dans la famille Gemma 3 réduit les échecs d'encodage mais les échecs de rappel persistent, ce qui indique que le rappel est le goulot d'étranglement. Le rappel est affecté par le contexte d'entraînement, les faits de longue traîne sont encodés mais difficiles à rappeler, et la malédiction de l'inversion est reformulée comme un problème de rappel, car la reconnaissance dans les tâches à choix multiples n'est pas altérée. La réflexion améliore le rappel surtout pour les faits rares et inversés, récupérant 40 à 65 % des faits encodés mais non directement connus, agissant ainsi comme un mécanisme de facilitation du rappel plutôt que comme un pur raisonnement.