नॉलेज डिस्टिलेशन को इतना सस्ता बनाना कि इसे बड़े पैमाने पर चलाया जा सके

नॉलेज डिस्टिलेशन, जिसमें एक छोटा छात्र मॉडल एक बड़े शिक्षक मॉडल से मेल खाना सीखता है, बड़े भाषा मॉडल को संपीड़ित करने के लिए एक मानक तकनीक है। हाल के ओपन-सोर्स LLM जैसे कि 2.8 ट्रिलियन पैरामीटर वाले Kimi-K3 को लगभग 3TB VRAM की आवश्यकता होती है, जिससे संपीड़न आवश्यक हो जाता है। पेपर 'Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss' शिक्षक के टॉप-K लॉगिट्स को ऑफ़लाइन कैश करके डिस्टिलेशन की उच्च लागत को संबोधित करता है, जिससे शिक्षक को मेमोरी में रखने की आवश्यकता समाप्त हो जाती है। यह एक फ्यूज्ड चंक्ड KL लॉस भी पेश करता है जो लॉस की गणना चंक्स में करता है, पूर्ण वोकैबुलरी×सीक्वेंस मैट्रिक्स से बचता है। यह एक ही H200 पर पीक VRAM को 250GB से घटाकर 128GB कर देता है, जिससे एक ही GPU पर 32K कॉन्टेक्स्ट पर डिस्टिलेशन संभव हो जाता है, चार नोड्स के बजाय, और स्टेप टाइम 5x तेज़ हो जाता है। छात्र मॉडल, जो Llama 3.1 8B Instruct से 3.2B पैरामीटर तक डिस्टिल्ड है, BoolQ और HellaSwag जैसे बेंचमार्क पर अधिकांश सटीकता बनाए रखता है और MMLU पर नौ अंकों के भीतर रहता है।