Pieni kielimalli puhtaalla Node.js:llä: Toteutus ilman taikatemppuja
Kehittäjä loi pienen kausaalisen kielimallin puhtaalla JavaScriptillä käyttäen Node.js:ää, ilman mitään ML-kirjastoja kuten TensorFlow tai PyTorch. Malli toteuttaa tokenisaation, upotukset, kausaalisen Transformerin, LM-pään, softmaxin, häviön ja takaisinetennyksen skalaariautogradilla. Harjoittelu sisältää esiharjoittelun, ohjatun hienosäädön ja adaptiivisen SFT:n toiston kanssa estäen katastrofaalisen unohtamisen, ja kaikki kestää noin neljä minuuttia.
Projekti toteuttaa pienen kausaalisen kielimallin alusta alkaen puhtaalla Node.js:llä (versio >=18.19) ilman ML-kirjastoja. Se käyttää sanatason tokenisointia (24 tokenia), kahta kausaalista Transformer-lohkoa, monipäistä itsetarkkailua, kahdella piilotetulla kerroksella varustettua FFN:ää ja Adam-optimoijaa. Harjoitusputki koostuu esiharjoittelusta deklaratiivisilla faktoilla, ohjatusta hienosäädöstä 42 kysymys-vastaus-parilla ja adaptiivisesta SFT:stä kertaamalla, jotta uudet faktat opitaan ilman katastrofaalista unohtamista. Mallissa on 2160 parametria. Harjoittelu tuottaa yksityiskohtaisen ASCII-lokin matriiseista ja erotuksista. Kaikki koodi on saatavilla GitHubissa.
Lähde: Habr — хаб ML —
Alkuperäinen