Petit modèle de langage en Node.js pur : une implémentation sans magie
Un développeur a créé un petit modèle de langage causal en JavaScript pur avec Node.js, sans aucune bibliothèque de machine learning comme TensorFlow ou PyTorch. Le modèle implémente la tokenisation, les embeddings, le Transformer causal, la tête de langage, softmax, la perte et la rétropropagation avec autograd scalaire. L'entraînement comprend le pré-entraînement, le fine-tuning supervisé et le SFT adaptatif avec répétition pour éviter l'oubli catastrophique, le tout en environ quatre minutes.
Le projet implémente un petit modèle de langage causal à partir de zéro en Node.js pur (>=18.19) sans aucune bibliothèque de machine learning. Il utilise une tokenisation au niveau des mots (24 tokens), deux blocs Transformers causaux, une auto-attention multi-têtes, un réseau feedforward avec deux couches cachées et l'optimiseur Adam. Le pipeline d'entraînement comprend un pré-entraînement sur des faits déclaratifs, un fine-tuning supervisé sur 42 paires question-réponse, et un SFT adaptatif avec répétition pour apprendre de nouveaux faits sans oublis catastrophiques. Le modèle possède 2 160 paramètres. L'entraînement produit un journal ASCII détaillé des matrices et des deltas. Tout le code est disponible sur GitHub.
Source: Habr — хаб ML —
original