빈 선반 아니면 잃어버린 열쇠? 회상이 매개변수적 사실성의 병목이다

Google Research의 과학자 Nitay Calderon과 Gal Yona는 LLM(대규모 언어 모델)의 사실 오류가 지식 부족(인코딩 실패)에서 비롯된 것인지, 아니면 지식 접근 불가(회상 실패)에서 비롯된 것인지를 구별하기 위해 '지식 프로파일링'이라는 행동 프레임워크를 제안합니다. 그들은 Wikipedia에서 파생된 2,150개의 사실로 구성된 벤치마크인 WikiProfile을 소개하며, 각 사실에는 인코딩, 회상, 인식을 탐구하는 질문이 짝지어져 있습니다. 생각하기(thinking) 유무에 따라 13개의 LLM을 평가한 결과, Gemini-3-Pro 및 GPT-5와 같은 최첨단 모델은 사실의 95~98%를 인코딩하지만, 직접 회상에는 26~34% 실패하며, 생각하기를 사용해도 11~12% 실패합니다. Gemma 3 계열에서 스케일링을 늘리면 인코딩 실패는 줄어들지만 회상 실패는 지속되어, 회상이 병목 현상임을 나타냅니다. 회상은 훈련 맥락의 영향을 받으며, 롱테일(long-tail) 사실은 인코딩되지만 회상하기 어렵습니다. 또한 반전 저주(reversal curse)는 다지선다형 과제에서 인식이 손상되지 않으므로 회상 문제로 재정의됩니다. 생각하기는 드물고 반전된 사실에 대한 회상을 가장 크게 개선하여, 인코딩되었지만 직접 알려지지 않은 사실의 40~65%를 회복하며, 순수한 추론보다는 회상 촉진 메커니즘으로 작용합니다.