Saf Node.js Üzerinde Küçük Dil Modeli: Sihirsiz Bir Uygulama
Bir geliştirici, TensorFlow veya PyTorch gibi herhangi bir makine öğrenimi kütüphanesi kullanmadan, saf JavaScript ile Node.js üzerinde küçük bir nedensel dil modeli oluşturdu. Model; tokenizasyon, gömme (embedding), nedensel Transformer, dil modeli başlığı (LM head), softmax, kayıp (loss) ve skaler otomatik türev ile geri yayılım (backpropagation) işlemlerini uyguluyor. Eğitim; ön eğitim (pre-training), denetimli ince ayar (supervised fine-tuning) ve yıkıcı unutmayı (catastrophic forgetting) önlemek için tekrarlamalı (rehearsal) uyarlamalı SFT (adaptive SFT) adımlarını içeriyor ve tamamı yaklaşık dört dakika sürüyor.
Proje, saf Node.js (>=18.19) ile herhangi bir makine öğrenimi kütüphanesi kullanmadan sıfırdan küçük bir nedensel dil modeli uyguluyor. Kelime düzeyinde tokenizasyon (24 token), iki nedensel Transformer bloğu, çok başlı öz dikkat, iki gizli katmanlı FFN ve Adam iyileştirici kullanıyor. Eğitim hattı, bildirimsel gerçekler üzerinde ön eğitim, 42 soru-cevap çifti üzerinde denetimli ince ayar ve yeni gerçekleri yıkıcı unutma olmadan öğrenmek için prova ile uyarlanabilir SFT'den oluşuyor. Model 2.160 parametreye sahip. Eğitim, matrislerin ve deltaların ayrıntılı bir ASCII günlüğünü üretiyor. Tüm kod GitHub'da mevcut.
Kaynak: Habr — хаб ML —
orijinal