記憶化と汎化：2160パラメータの言語モデルが実際にできること

Node.jsのTiny Language Modelプロジェクトのバージョン1.1.0では、MLコミュニティでの議論とHashnodeでのエンジニアからのフィードバックを受けて、記憶と一般化の境界に関する調査が追加されました。シード42を固定し、4つのチェックからなる凍結評価を実施しました。正確な学習済みテンプレート、新しい順序での既知のトークン、完全に保留されたテンプレート、適応的SFT後の14の関係の保持です。結果は、既知のテンプレートでは正しいトークンの最小確率が99.93%、トークンの置換では81.69%、未知の質問構造ではわずか10.46%であり、モデルは期待される「cat cannot read」の代わりに「cat can fly」と回答しました。関係の保持タスクは完全に達成されました（14件中14件、精度100%）。この実験は、モデルの能力の境界が記憶と局所的な転移と真の一般化の間にあることを示しています。モデルは学習した内容をうまく再現し、小さな変更には対応できますが、新しい構造は動作を破壊します。制限の原因はパラメータ数だけでなく、限られた構文を含む小さなコーパスにもあります。著者は、より多様なデータなしにニューロンやブロックを増やしても、記憶の向上にしかつながらないと指摘しています。これは再現可能な教育的診断であり、完全なベンチマークではありません。