نموذج لغة صغير على Node.js الخالص: تنفيذ بدون سحر
قام مطور بإنشاء نموذج لغة سببي صغير باستخدام JavaScript الخالص مع Node.js، دون أي مكتبات تعلم آلي مثل TensorFlow أو PyTorch. ينفذ النموذج الترميز، والتضمين، والمحول السببي، ورأس LM، وsoftmax، والخسارة، والانتشار العكسي مع التدرج الآلي العددي. يشمل التدريب مرحلة ما قبل التدريب، والضبط الدقيق الخاضع للإشراف، والضبط الدقيق التكيفي مع التمرين لمنع النسيان الكارثي، ويعمل التشغيل بأكمله في حوالي أربع دقائق.
يُطبّق المشروع نموذجًا سببيًا صغيرًا للغة من الصفر باستخدام Node.js النقي (الإصدار >=18.19) دون أي مكتبات تعلم آلة. يستخدم النموذج تقسيمًا على مستوى الكلمات (24 رمزًا)، وكتلتين محولتين سببيتين، وانتباهًا ذاتيًا متعدد الرؤوس، وشبكة تغذية أمامية ذات طبقتين مخفيتين، ومحسّن آدم. تتكون عملية التدريب من التدريب المسبق على الحقائق التقريرية، والضبط الدقيق المُشرف على 42 زوجًا من الأسئلة والأجوبة، والضبط الدقيق المُشرف التكيفي مع التمرين لتعلم حقائق جديدة دون نسيان كارثي. يحتوي النموذج على 2,160 معلمة. يُنتج التدريب سجل ASCII مفصلاً للمصفوفات والفروقات. جميع الأكواد متاحة على GitHub.
المصدر: Habr — хаб ML —
الأصلي