Kleines Sprachmodell in purem Node.js: Eine Implementierung ohne Magie
Ein Entwickler hat ein winziges kausales Sprachmodell in purem JavaScript mit Node.js erstellt, ohne ML-Bibliotheken wie TensorFlow oder PyTorch. Das Modell implementiert Tokenisierung, Embeddings, kausalen Transformer, LM-Head, Softmax, Loss und Backpropagation mit skalarem Autograd. Das Training umfasst Pre-Training, überwachtes Feintuning und adaptives SFT mit Wiederholung, um katastrophales Vergessen zu verhindern, und läuft in etwa vier Minuten.
Das Projekt implementiert ein winziges kausales Sprachmodell von Grund auf in reinem Node.js (>=18.19) ohne ML-Bibliotheken. Es verwendet Tokenisierung auf Wortebene (24 Tokens), zwei kausale Transformer-Blöcke, Multi-Head Self-Attention, ein FFN mit zwei versteckten Schichten und den Adam-Optimierer. Die Training-Pipeline besteht aus Pre-Training auf deklarativen Fakten, überwachter Feinabstimmung (Supervised Fine-Tuning, SFT) an 42 Frage-Antwort-Paaren und adaptivem SFT mit Wiederholung (Rehearsal), um neue Fakten ohne katastrophales Vergessen zu lernen. Das Modell hat 2.160 Parameter. Das Training erzeugt ein detailliertes ASCII-Protokoll der Matrizen und Änderungen. Der gesamte Code ist auf GitHub verfügbar.
Quelle: Habr — хаб ML —
Original