Forschung RSS

Forschung 🇷🇺

Kleines Sprachmodell in purem Node.js: Eine Implementierung ohne Magie

Ein Entwickler hat ein winziges kausales Sprachmodell in purem JavaScript mit Node.js erstellt, ohne ML-Bibliotheken wie TensorFlow oder PyTorch. Das Modell implementiert Tokenisierung, Embeddings, kausalen Transformer, LM-Head, Softmax, Loss und Backpropagation mit skalarem Autograd. Das Training umfasst Pre-Training, überwachtes Feintuning und adaptives SFT mit Wiederholung, um katastrophales Vergessen zu verhindern, und läuft in etwa vier Minuten.

Habr — хаб ML28.07 · 20:04
Aktuelle Nachrichten