Trace as Teacher: बड़े मॉडल के तर्क को छोटे मॉडल में स्थानांतरित करना
Meta
एक प्रशिक्षण विधि जिसमें एक बड़ा मॉडल अपने तर्क का निशान छोड़ता है, और एक छोटा मॉडल इन निशानों से सीखता है, जिससे तार्किक तर्क क्षमता को कॉम्पैक्ट न्यूरल नेटवर्क में स्थानांतरित करना संभव होता है।
सीक्वेंस नॉलेज #898 अंक में "द ट्रेस इज द टीचर" नामक एक विधि पर चर्चा की गई है। इस दृष्टिकोण का सार यह है कि एक बड़ा भाषा मॉडल, किसी समस्या को हल करते समय, केवल उत्तर ही नहीं, बल्कि मध्यवर्ती तर्क चरणों की एक श्रृंखला भी उत्पन्न करता है—एक ट्रेस। इस ट्रेस का उपयोग फिर एक छोटे मॉडल के लिए प्रशिक्षण संकेत के रूप में किया जाता है, जो केवल अंतिम उत्तर को पुन: उत्पन्न करना नहीं, बल्कि पूरी विचार प्रक्रिया को सीखता है। इस प्रकार, एक कॉम्पैक्ट न्यूरल नेटवर्क वह तर्क क्षमता प्राप्त कर लेता है जो आमतौर पर केवल बड़े मॉडलों में होती है। यह विधि नॉलेज डिस्टिलेशन के क्षेत्र से संबंधित है और तार्किक निष्कर्ष की गुणवत्ता से समझौता किए बिना मॉडल आकार में महत्वपूर्ण कमी लाने की अनुमति देती है।
स्रोत: Meta AI (GNews) —
मूल