खाली अलमारियां या खोई हुई चाबियां? पैरामीट्रिक तथ्यात्मकता के लिए स्मरण ही बाधा है

Google Research के वैज्ञानिक नितय काल्डेरोन और गैल योना ने एक व्यवहारिक ढांचा प्रस्तावित किया है जिसे नॉलेज प्रोफाइलिंग कहा जाता है, ताकि यह पहचाना जा सके कि LLM में तथ्यात्मक त्रुटियाँ ज्ञान की कमी (एन्कोडिंग विफलता) या अगम्य ज्ञान (रिकॉल विफलता) के कारण होती हैं। उन्होंने WikiProfile पेश किया है, जो 2,150 विकिपीडिया-व्युत्पन्न तथ्यों का एक बेंचमार्क है, जिनमें से प्रत्येक के साथ एन्कोडिंग, रिकॉल और पहचान की जाँच करने वाले प्रश्न जुड़े हैं। सोच के साथ और बिना सोच के 13 LLM का मूल्यांकन करते हुए, वे दिखाते हैं कि Gemini-3-Pro और GPT-5 जैसे सीमावर्ती मॉडल 95–98% तथ्यों को एन्कोड करते हैं लेकिन सीधे 26–34% को याद करने में विफल रहते हैं, यहाँ तक कि सोच के साथ भी 11–12% पर विफल रहते हैं। Gemma 3 परिवार में स्केलिंग एन्कोडिंग विफलताओं को कम करती है लेकिन रिकॉल विफलताएँ बनी रहती हैं, यह दर्शाता है कि रिकॉल बाधा है। रिकॉल प्रशिक्षण संदर्भ से प्रभावित होता है, लंबी-पूंछ वाले तथ्य एन्कोड होते हैं लेकिन याद रखना कठिन होता है, और विपरीत अभिशाप को रिकॉल समस्या के रूप में फिर से परिभाषित किया गया है, क्योंकि बहुविकल्पीय कार्यों में पहचान क्षीण नहीं होती है। सोच दुर्लभ और विपरीत तथ्यों के लिए रिकॉल में सबसे अधिक सुधार करती है, जो एन्कोड किए गए लेकिन सीधे ज्ञात नहीं होने वाले 40–65% तथ्यों को पुनर्प्राप्त करती है, जो शुद्ध तर्क के बजाय रिकॉल-सुविधा तंत्र के रूप में कार्य करती है।