शुद्ध Node.js पर छोटा भाषा मॉडल: बिना किसी मैजिक का कार्यान्वयन
एक डेवलपर ने शुद्ध JavaScript में Node.js का उपयोग करके एक छोटा कॉज़ल भाषा मॉडल बनाया, बिना किसी ML लाइब्रेरी जैसे TensorFlow या PyTorch के। मॉडल टोकनाइज़ेशन, एम्बेडिंग, कॉज़ल ट्रांसफॉर्मर, LM हेड, सॉफ्टमैक्स, लॉस और स्केलर ऑटोग्रैड के साथ बैकप्रोपेगेशन को लागू करता है। प्रशिक्षण में प्री-ट्रेनिंग, सुपरवाइज़्ड फाइन-ट्यूनिंग और कैटास्ट्रोफिक फॉरगेटिंग को रोकने के लिए रिहर्सल के साथ एडेप्टिव SFT शामिल है, और यह सब लगभग चार मिनट में चलता है।
यह प्रोजेक्ट शुद्ध Node.js (>=18.19) में बिना किसी ML लाइब्रेरी के एक छोटा कॉज़ल लैंग्वेज मॉडल स्क्रैच से इम्प्लीमेंट करता है। यह वर्ड-लेवल टोकनाइज़ेशन (24 टोकन), दो कॉज़ल ट्रांसफॉर्मर ब्लॉक, मल्टी-हेड सेल्फ-अटेंशन, दो हिडन लेयर्स के साथ एफएफएन और एडम ऑप्टिमाइज़र का उपयोग करता है। प्रशिक्षण पाइपलाइन में डिक्लेरेटिव फैक्ट्स पर प्री-ट्रेनिंग, 42 क्वेश्चन-आंसर पेयर्स पर सुपरवाइज्ड फ़ाइन-ट्यूनिंग और कैटास्ट्रॉफ़िक फ़ॉरगेटिंग के बिना नए तथ्य सीखने के लिए रिहर्सल के साथ एडेप्टिव एसएफ़टी शामिल है। मॉडल में 2,160 पैरामीटर हैं। प्रशिक्षण मैट्रिक्स और डेल्टा का एक विस्तृत ASCII लॉग उत्पन्न करता है। सभी कोड GitHub पर उपलब्ध है।
स्रोत: Habr — хаб ML —
मूल