純粋なNode.js上での小さな言語モデル：マジックなしの実装
ある開発者が、TensorFlowやPyTorchのような機械学習ライブラリを一切使わず、Node.jsを用いた純粋なJavaScriptで小さな因果言語モデルを作成しました。このモデルは、トークン化、埋め込み、因果Transformer、LMヘッド、ソフトマックス、損失、そしてスカラーautogradによるバックプロパゲーションを実装しています。トレーニングには、事前学習、教師ありファインチューニング、および壊滅的忘却を防ぐためのリハーサル付き適応型SFTが含まれており、すべて約4分で実行されます。
このプロジェクトは、MLライブラリを一切使用せず、純粋なNode.js（バージョン18.19以上）で小さな因果的言語モデルをゼロから実装したものです。ワードレベルのトークン化（24トークン）、2つの因果的Transformerブロック、マルチヘッド自己注意機構、2つの隠れ層を持つFFN、Adamオプティマイザを採用しています。トレーニングパイプラインは、宣言的事実に対する事前学習、42の質問応答ペアによる教師ありファインチューニング、および破壊的忘却を防ぐためのリハーサルを伴う適応型SFTから構成されています。モデルのパラメータ数は2,160です。トレーニングでは、行列とデルタの詳細なASCIIログが生成されます。すべてのコードはGitHubで公開されています。
出典: Habr — хаб ML —
原文