Tiny Language Model op Pure Node.js: Een Implementatie Zonder Magie
Een ontwikkelaar heeft een klein causaal taalmodel geïmplementeerd in pure JavaScript met Node.js, zonder ML-bibliotheken zoals TensorFlow of PyTorch. Het model implementeert tokenisatie, embeddings, causale Transformer, LM-head, softmax, verlies en backpropagation met scalaire autograd. Training omvat pre-training, supervised fine-tuning en adaptieve SFT met rehearsal om catastrofale vergetelheid te voorkomen, alles in ongeveer vier minuten.
Het project implementeert een klein causaal taalmodel vanaf nul in pure Node.js (>=18.19) zonder ML-bibliotheken. Het maakt gebruik van tokenisatie op woordniveau (24 tokens), twee causale Transformer-blokken, multi-head self-attention, FFN met twee verborgen lagen en Adam-optimizer. De trainingspijplijn bestaat uit pre-training op declaratieve feiten, supervised fine-tuning op 42 vraag-antwoordparen en adaptieve SFT met rehearsal om nieuwe feiten te leren zonder catastrofaal vergeten. Het model heeft 2160 parameters. Training produceert een gedetailleerde ASCII-log van matrices en delta's. Alle code is beschikbaar op GitHub.
Bron: Habr — хаб ML —
origineel