Modèle de langage minimaliste en Node.js pur : une implémentation sans magie
Un développeur a créé un petit modèle de langage causal en JavaScript pur avec Node.js, sans aucune bibliothèque de machine learning comme TensorFlow ou PyTorch. Le modèle implémente la tokenisation, les plongements (embeddings), le Transformer causal, la tête de langage, la fonction softmax, la perte (loss) et la rétropropagation avec autograd scalaire. L'entraînement inclut le pré-entraînement, le fine-tuning supervisé et le fine-tuning supervisé adaptatif (SFT) avec répétition (rehearsal) pour éviter l'oubli catastrophique, le tout s'exécutant en environ quatre minutes.
Le projet implémente un petit modèle de langage causal à partir de zéro en Node.js pur (>=18.19) sans aucune bibliothèque de machine learning. Il utilise une tokenisation au niveau des mots (24 tokens), deux blocs Transformers causaux, une auto-attention multi-têtes, un réseau feedforward avec deux couches cachées et l'optimiseur Adam. Le pipeline d'entraînement comprend un pré-entraînement sur des faits déclaratifs, un fine-tuning supervisé sur 42 paires question-réponse, et un SFT adaptatif avec répétition pour apprendre de nouveaux faits sans oublis catastrophiques. Le modèle possède 2 160 paramètres. L'entraînement produit un journal ASCII détaillé des matrices et des deltas. Tout le code est disponible sur GitHub.
Source: Habr — хаб ML —
original