Model Bahasa Kecil pada Node.js Murni: Implementasi Tanpa Keajaiban
Seorang pengembang menciptakan model bahasa kausal kecil dalam JavaScript murni menggunakan Node.js, tanpa pustaka ML seperti TensorFlow atau PyTorch. Model ini mengimplementasikan tokenisasi, embeddings, Transformer kausal, LM head, softmax, loss, dan backpropagation dengan autograd skalar. Pelatihan mencakup pra-pelatihan, fine-tuning terawasi, dan adaptif SFT dengan rehearsal untuk mencegah lupa bencana, semuanya berjalan dalam waktu sekitar empat menit.
Proyek ini mengimplementasikan model bahasa kausal kecil dari awal dalam Node.js murni (>=18.19) tanpa pustaka pembelajaran mesin apa pun. Proyek ini menggunakan tokenisasi tingkat kata (24 token), dua blok Transformer kausal, perhatian diri multi-kepala, FFN dengan dua lapisan tersembunyi, dan pengoptimal Adam. Pipeline pelatihan terdiri dari pra-pelatihan pada fakta deklaratif, penyetelan halus yang diawasi pada 42 pasang tanya-jawab, dan penyetelan halus adaptif dengan pengulangan untuk mempelajari fakta baru tanpa lupa yang bencana. Model ini memiliki 2.160 parameter. Pelatihan menghasilkan log ASCII terperinci dari matriks dan delta. Semua kode tersedia di GitHub.
Sumber: Habr — хаб ML —
asli