نموذج لغة صغير على Node.js الخالص: تطبيق بدون سحر
أنشأ مطور نموذج لغة سببي صغير بلغة JavaScript الخالصة باستخدام Node.js، دون أي مكتبات تعلم آلي مثل TensorFlow أو PyTorch. يقوم النموذج بتنفيذ الترميز، التضمينات، المحول السببي، رأس النموذج اللغوي، دالة سوفتماكس، دالة الخسارة، والانتشار العكسي مع التفاضل التلقائي العددي. يشمل التدريب التدريب المسبق، والضبط الدقيق تحت الإشراف، والضبط الدقيق التكيفي تحت الإشراف مع التمرين لمنع النسيان الكارثي، وكل ذلك يعمل في حوالي أربع دقائق.
يُطبّق المشروع نموذجًا سببيًا صغيرًا للغة من الصفر باستخدام Node.js النقي (الإصدار >=18.19) دون أي مكتبات تعلم آلة. يستخدم النموذج تقسيمًا على مستوى الكلمات (24 رمزًا)، وكتلتين محولتين سببيتين، وانتباهًا ذاتيًا متعدد الرؤوس، وشبكة تغذية أمامية ذات طبقتين مخفيتين، ومحسّن آدم. تتكون عملية التدريب من التدريب المسبق على الحقائق التقريرية، والضبط الدقيق المُشرف على 42 زوجًا من الأسئلة والأجوبة، والضبط الدقيق المُشرف التكيفي مع التمرين لتعلم حقائق جديدة دون نسيان كارثي. يحتوي النموذج على 2,160 معلمة. يُنتج التدريب سجل ASCII مفصلاً للمصفوفات والفروقات. جميع الأكواد متاحة على GitHub.
المصدر: Habr — хаб ML —
الأصلي