एलएलएम प्रशिक्षण का विस्तार: एक चिप से डेटा सेंटर तक। अध्याय 4. ट्रांसफॉर्मर का प्रशिक्षण

लेख बताता है कि ट्रांसफॉर्मर को कुशलतापूर्वक और बड़े पैमाने पर कैसे प्रशिक्षित किया जाए। यह मॉडल आयामों (D, F, B, T, L) और हार्डवेयर (C, W, X, Y, Z) के लिए संकेतन प्रस्तुत करता है। चार प्रकार की समानता का वर्णन किया गया है: डेटा समानांतरता बैच को एक्सेलेरेटरों में विभाजित करती है, ग्रेडिएंट एकत्रीकरण के लिए ऑलरिड्यूस की आवश्यकता होती है, और यह तब प्रभावी होती है जब मॉडल एक एक्सेलेरेटर में फिट बैठता है। FSDP (ZeRO) मॉडल वेट, ग्रेडिएंट और ऑप्टिमाइज़र स्टेट्स को विभाजित करता है, जिसमें ऑलगैदर और रिड्यूसस्कैटर का उपयोग होता है, और यह छोटे बैच आकारों के साथ कम्प्यूटेशन-बाउंड होता है। टेंसर समानांतरता वेट मैट्रिसेस को विभाजित करती है, एक्टिवेशन का आदान-प्रदान करती है, और एक्टिवेशन आकार को वेट के सापेक्ष कम करने के लिए FSDP के साथ सबसे अच्छी तरह संयुक्त होती है। पाइपलाइन समानांतरता मॉडल को परतों में विभाजित करती है, डेटा ट्रांसफर को कम करती है लेकिन 'पाइपलाइन बबल' पेश करती है, जिसे माइक्रोबैचिंग या ओवरलैपिंग गणनाओं द्वारा कम किया जा सकता है। लेख नोट करता है कि FSDP+TP संयोजन लगभग हमेशा कम्प्यूटेशन-बाउंड होता है, और GPU क्लस्टरों के लिए पाइपलाइनिंग सामान्य है। यह निष्कर्ष निकालता है कि लक्ष्य ओवरहेड को प्रबंधित करते हुए स्केल करना है।