Saf Node.js Üzerinde Küçük Dil Modeli: Büyüsüz Bir Uygulama
Bir geliştirici, TensorFlow veya PyTorch gibi herhangi bir makine öğrenimi kütüphanesi kullanmadan, saf JavaScript ile Node.js üzerinde küçük bir nedensel dil modeli oluşturdu. Model, tokenizasyon, gömme vektörler, nedensel Transformer, dil modeli başlığı, softmax, kayıp ve skaler otograd ile geri yayılımı uyguluyor. Eğitim, ön eğitim, denetimli ince ayar ve yıkıcı unutmayı önlemek için prova ile uyarlanabilir SFT'yi içeriyor ve tamamı yaklaşık dört dakika sürüyor.
Proje, saf Node.js (>=18.19) ile herhangi bir makine öğrenimi kütüphanesi kullanmadan sıfırdan küçük bir nedensel dil modeli uyguluyor. Kelime düzeyinde tokenizasyon (24 token), iki nedensel Transformer bloğu, çok başlı öz dikkat, iki gizli katmanlı FFN ve Adam iyileştirici kullanıyor. Eğitim hattı, bildirimsel gerçekler üzerinde ön eğitim, 42 soru-cevap çifti üzerinde denetimli ince ayar ve yeni gerçekleri yıkıcı unutma olmadan öğrenmek için prova ile uyarlanabilir SFT'den oluşuyor. Model 2.160 parametreye sahip. Eğitim, matrislerin ve deltaların ayrıntılı bir ASCII günlüğünü üretiyor. Tüm kod GitHub'da mevcut.
Kaynak: Habr — хаб ML —
orijinal