शुद्ध Node.js पर छोटा भाषा मॉडल: बिना किसी जादू का कार्यान्वयन

यह प्रोजेक्ट शुद्ध Node.js (>=18.19) में बिना किसी ML लाइब्रेरी के एक छोटा कॉज़ल लैंग्वेज मॉडल स्क्रैच से इम्प्लीमेंट करता है। यह वर्ड-लेवल टोकनाइज़ेशन (24 टोकन), दो कॉज़ल ट्रांसफॉर्मर ब्लॉक, मल्टी-हेड सेल्फ-अटेंशन, दो हिडन लेयर्स के साथ एफएफएन और एडम ऑप्टिमाइज़र का उपयोग करता है। प्रशिक्षण पाइपलाइन में डिक्लेरेटिव फैक्ट्स पर प्री-ट्रेनिंग, 42 क्वेश्चन-आंसर पेयर्स पर सुपरवाइज्ड फ़ाइन-ट्यूनिंग और कैटास्ट्रॉफ़िक फ़ॉरगेटिंग के बिना नए तथ्य सीखने के लिए रिहर्सल के साथ एडेप्टिव एसएफ़टी शामिल है। मॉडल में 2,160 पैरामीटर हैं। प्रशिक्षण मैट्रिक्स और डेल्टा का एक विस्तृत ASCII लॉग उत्पन्न करता है। सभी कोड GitHub पर उपलब्ध है।