Klein taalmodel in pure Node.js: een implementatie zonder toverwerk
Een ontwikkelaar heeft een klein causaal taalmodel gemaakt in pure JavaScript met Node.js, zonder gebruik te maken van ML-bibliotheken zoals TensorFlow of PyTorch. Het model implementeert tokenisatie, embeddings, causale Transformer, LM-head, softmax, verlies en backpropagation met scalaire autograd. De training omvat pre-training, supervised fine-tuning en adaptieve SFT met herhaling om catastrofale vergeten te voorkomen, en duurt ongeveer vier minuten.
Het project implementeert een klein causaal taalmodel vanaf nul in pure Node.js (>=18.19) zonder ML-bibliotheken. Het maakt gebruik van tokenisatie op woordniveau (24 tokens), twee causale Transformer-blokken, multi-head self-attention, FFN met twee verborgen lagen en Adam-optimizer. De trainingspijplijn bestaat uit pre-training op declaratieve feiten, supervised fine-tuning op 42 vraag-antwoordparen en adaptieve SFT met rehearsal om nieuwe feiten te leren zonder catastrofaal vergeten. Het model heeft 2160 parameters. Training produceert een gedetailleerde ASCII-log van matrices en delta's. Alle code is beschikbaar op GitHub.
Bron: Habr — хаб ML —
origineel