Estantes vacíos o llaves perdidas? El recuerdo es el cuello de botella para la facticidad paramétrica

Los científicos de Google Research, Nitay Calderon y Gal Yona, proponen un marco conductual denominado perfilado de conocimiento para distinguir si los errores factuales en los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) se deben a falta de conocimiento (fallo de codificación) o a conocimiento inaccesible (fallo de recuperación). Introducen WikiProfile, un punto de referencia de 2.150 hechos derivados de Wikipedia, cada uno emparejado con preguntas que exploran la codificación, la recuperación y el reconocimiento. Al evaluar 13 LLM, con y sin razonamiento, muestran que los modelos de vanguardia como Gemini-3-Pro y GPT-5 codifican el 95-98% de los hechos pero no logran recuperar directamente el 26-34%, incluso con razonamiento fallando en un 11-12%. El escalado en la familia Gemma 3 reduce los fallos de codificación, pero persisten los de recuperación, lo que indica que la recuperación es el cuello de botella. La recuperación se ve afectada por el contexto de entrenamiento; los hechos de cola larga están codificados pero son difíciles de recuperar, y la maldición de la reversión se replantea como un problema de recuperación, ya que el reconocimiento en tareas de opción múltiple no se ve afectado. El razonamiento mejora la recuperación, sobre todo en hechos raros e inversos, recuperando el 40-65% de los hechos codificados pero no directamente conocidos, actuando como un mecanismo de facilitación de la recuperación más que de razonamiento puro.