Pieni kielimalli puhtaalla Node.js:llä: toteutus ilman taikatemppuja
Kehittäjä loi pienen kausaalisen kielimallin puhtaalla JavaScriptillä käyttäen Node.js:ää, ilman mitään koneoppimiskirjastoja kuten TensorFlow tai PyTorch. Malli toteuttaa tokenisoinnin, upotukset (embeddings), kausaalisen Transformerin, kielenpään (LM head), softmaxin, häviön (loss) ja takaisinetennyksen (backpropagation) skalaarisen autogradin avulla. Harjoittelu sisältää esiharjoittelun (pre-training), ohjatun hienosäädön (supervised fine-tuning) ja adaptiivisen SFT:n (supervised fine-tuning) kertauksella (rehearsal) estämään katastrofaalinen unohtaminen, ja kaikki suoritetaan noin neljässä minuutissa.
Projekti toteuttaa pienen kausaalisen kielimallin alusta alkaen puhtaalla Node.js:llä (versio >=18.19) ilman ML-kirjastoja. Se käyttää sanatason tokenisointia (24 tokenia), kahta kausaalista Transformer-lohkoa, monipäistä itsetarkkailua, kahdella piilotetulla kerroksella varustettua FFN:ää ja Adam-optimoijaa. Harjoitusputki koostuu esiharjoittelusta deklaratiivisilla faktoilla, ohjatusta hienosäädöstä 42 kysymys-vastaus-parilla ja adaptiivisesta SFT:stä kertaamalla, jotta uudet faktat opitaan ilman katastrofaalista unohtamista. Mallissa on 2160 parametria. Harjoittelu tuottaa yksityiskohtaisen ASCII-lokin matriiseista ja erotuksista. Kaikki koodi on saatavilla GitHubissa.
Lähde: Habr — хаб ML —
Alkuperäinen