Saf Node.js Üzerinde Minik Dil Modeli: Sihirsiz Bir Uygulama
Bir geliştirici, TensorFlow veya PyTorch gibi herhangi bir makine öğrenimi kütüphanesi kullanmadan, saf JavaScript ile Node.js üzerinde minik bir nedensel dil modeli oluşturdu. Model; tokenizasyon, gömme, nedensel Transformer, dil modeli başlığı, softmax, kayıp ve skalar otomatik türev ile geri yayılımı uyguluyor. Eğitim; ön eğitim, denetimli ince ayar ve unutmayı önlemek için tekrarlı uyarlamalı SFT'yi içeriyor ve tamamı yaklaşık dört dakika sürüyor.
Proje, saf Node.js (>=18.19) ile herhangi bir makine öğrenimi kütüphanesi kullanmadan sıfırdan küçük bir nedensel dil modeli uyguluyor. Kelime düzeyinde tokenizasyon (24 token), iki nedensel Transformer bloğu, çok başlı öz dikkat, iki gizli katmanlı FFN ve Adam iyileştirici kullanıyor. Eğitim hattı, bildirimsel gerçekler üzerinde ön eğitim, 42 soru-cevap çifti üzerinde denetimli ince ayar ve yeni gerçekleri yıkıcı unutma olmadan öğrenmek için prova ile uyarlanabilir SFT'den oluşuyor. Model 2.160 parametreye sahip. Eğitim, matrislerin ve deltaların ayrıntılı bir ASCII günlüğünü üretiyor. Tüm kod GitHub'da mevcut.
Kaynak: Habr — хаб ML —
orijinal