Model Bahasa Mini di Node.js Murni: Implementasi Tanpa Keajaiban
Seorang pengembang membuat model bahasa kausal kecil dalam JavaScript murni menggunakan Node.js, tanpa pustaka pembelajaran mesin seperti TensorFlow atau PyTorch. Model ini mengimplementasikan tokenisasi, embeddings, Transformer kausal, LM head, softmax, loss, dan propagasi balik dengan autograd skalar. Pelatihan mencakup pra-pelatihan, penyetelan halus yang diawasi, dan SFT adaptif dengan rehearsal untuk mencegah lupa bencana, semuanya berjalan dalam waktu sekitar empat menit.
Proyek ini mengimplementasikan model bahasa kausal kecil dari awal dalam Node.js murni (>=18.19) tanpa pustaka pembelajaran mesin apa pun. Proyek ini menggunakan tokenisasi tingkat kata (24 token), dua blok Transformer kausal, perhatian diri multi-kepala, FFN dengan dua lapisan tersembunyi, dan pengoptimal Adam. Pipeline pelatihan terdiri dari pra-pelatihan pada fakta deklaratif, penyetelan halus yang diawasi pada 42 pasang tanya-jawab, dan penyetelan halus adaptif dengan pengulangan untuk mempelajari fakta baru tanpa lupa yang bencana. Model ini memiliki 2.160 parameter. Pelatihan menghasilkan log ASCII terperinci dari matriks dan delta. Semua kode tersedia di GitHub.
Sumber: Habr — хаб ML —
asli