स्क्रैच से LLMs बनाना: सेबेस्टियन रश्का का पूरा कोर्स

सेबास्टियन राश्का, जिन्होंने 'बिल्ड अ लार्ज लैंग्वेज मॉडल (फ्रॉम स्क्रैच)' पुस्तक लिखी है, ने एलएलएम को शुरू से बनाने पर एक विस्तृत कोर्स जारी किया है, जिसमें कुल मिलाकर लगभग 15 घंटे के कई वीडियो शामिल हैं। यह कोर्स uv का उपयोग करके विकास परिवेश (development environment) स्थापित करने से शुरू होता है, फिर पाठ डेटा के साथ काम करने, जिसमें टोकनाइज़ेशन, बाइट पेयर एन्कोडिंग (BPE), और डेटा लोडर शामिल हैं, को कवर करता है। इसके बाद यह ध्यान तंत्रों (attention mechanisms) जैसे स्व-ध्यान (self-attention), कारणात्मक ध्यान (causal attention), और बहु-शीर्ष ध्यान (multi-head attention) को शुरू से कोड करने की व्याख्या करता है, और फिर एलएलएम आर्किटेक्चर के निर्माण का प्रदर्शन करता है। यह कोर्स बिना लेबल वाले डेटा पर मॉडल का प्री-ट्रेनिंग, वर्गीकरण के लिए फाइन-ट्यूनिंग (स्पैम उदाहरण के रूप में), और निर्देश फाइन-ट्यूनिंग भी दिखाता है। भुगतान करने वाले सदस्यों के लिए बोनस के रूप में, 2.5 घंटे का एक गैर-तकनीकी वीडियो उपलब्ध है, जिसमें 2025 में एलएलएम परिदृश्य और 2018 से हुए बदलावों पर चर्चा की गई है। राश्का ने नोट किया कि एलएलएम को शुरू से बनाना यह समझने का सबसे अच्छा तरीका है कि वे कैसे काम करते हैं, इसे गो-कार्ट से शुरू करके रेस कार को जोड़ने के समान बताया। ये वीडियो मूल रूप से पुस्तक के सहायक सामग्री के रूप में बनाए गए थे, लेकिन ये स्वतंत्र सामग्री के रूप में भी कार्य करते हैं।