गूगल: तर्क शक्ति मॉडल को बफर और प्राइमिंग के जरिए तथ्य याद रखने में मदद करती है
Google/DeepMind
Alibaba/Qwen
गूगल रिसर्च ने पाया कि बड़े भाषा मॉडलों (एलएलएम) में तर्क को सक्षम करने से दो तंत्रों के जरिए सरल तथ्यों को याद रखने में मदद मिलती है: अतिरिक्त टोकन एक कम्प्यूटेशनल बफर के रूप में काम करते हैं, और संबंधित तथ्य उत्पन्न करने से सही स्मरण प्राइम होता है। अध्ययन जेमिनी-2.5 और क्यूडब्ल्यूएन3-32बी का परीक्षण प्रश्नोत्तर (क्यूए) डेटासेट पर करता है।
गूगल रिसर्च ने अध्ययन किया कि क्यों तर्क (रीज़निंग) एलएलएम को सरल तथ्यों को याद करने में मदद करता है, जब कोई जटिल कदमों की आवश्यकता नहीं होती। उन्होंने दो तंत्र पाए: एक कम्प्यूटेशनल बफर, जहां अतिरिक्त अर्थहीन टोकन अधिक प्रोसेसिंग प्रदान करते हैं, और तथ्यात्मक प्राइमिंग, जहां संबंधित तथ्य उत्पन्न करना सही याद को प्राइम करता है। प्रयोगों में जेमिनी-2.5 (फ्लैश और प्रो) और क्यूवेन3-32बी का उपयोग सिंपलक्यूए वेरिफाइड और एंटिटीक्वेशंस डेटासेट पर किया गया। बफर प्रभाव ने याददाश्त में सुधार किया लेकिन घटते प्रतिफल के साथ, जबकि प्राकृतिक तर्क निशान जो अक्सर संबंधित तथ्यों को सामने लाते हैं, सबसे अच्छा प्रदर्शन देते हैं। भ्रामक मध्यवर्ती तथ्यों ने सटीकता को कम किया। एक परीक्षण-समय चयन रणनीति जो भ्रम-मुक्त प्रक्षेपवक्र रखती है, ने परिणामों में सुधार किया।
स्रोत: Google Research —
मूल
