純粋なNode.js上の小型言語モデル：魔法なしの実装
ある開発者が、TensorFlowやPyTorchといったMLライブラリを一切使わずに、Node.js上の純粋なJavaScriptで小型の因果言語モデルを作成しました。このモデルは、トークン化、埋め込み、因果Transformer、LMヘッド、ソフトマックス、損失、そしてスカラー自動微分によるバックプロパゲーションを実装しています。トレーニングには、事前学習、教師あり微調整、および破滅的忘却を防ぐためのリハーサル付き適応型SFTが含まれており、すべて約4分で実行されます。
このプロジェクトは、MLライブラリを一切使用せず、純粋なNode.js（バージョン18.19以上）で小さな因果的言語モデルをゼロから実装したものです。ワードレベルのトークン化（24トークン）、2つの因果的Transformerブロック、マルチヘッド自己注意機構、2つの隠れ層を持つFFN、Adamオプティマイザを採用しています。トレーニングパイプラインは、宣言的事実に対する事前学習、42の質問応答ペアによる教師ありファインチューニング、および破壊的忘却を防ぐためのリハーサルを伴う適応型SFTから構成されています。モデルのパラメータ数は2,160です。トレーニングでは、行列とデルタの詳細なASCIIログが生成されます。すべてのコードはGitHubで公開されています。
出典: Habr — хаб ML —
原文