记忆与泛化：一个2160参数语言模型的真实能力
对一个仅有2160个参数的微型语言模型进行的实验显示，它能够自信地记住训练过的模板（令牌概率为99.93%），对熟悉令牌的排列组合迁移能力有限（81.69%），而在面对新问题结构时彻底失败（10.46%）。该模型保留了全部14个初始关系，没有发生灾难性遗忘。
在 Node.js 上的 Tiny Language Model 项目 1.1.0 版本中，经过 ML 社区讨论和 Hashnode 上工程师的反馈，增加了对记忆与泛化之间界限的研究。使用固定随机种子 42 进行了四项冻结评估：精确训练过的模板、熟悉标记的新顺序、完全留出的模板，以及自适应 SFT 后 14 个关系的保持。结果显示，在熟悉模板上，正确标记的最小概率为 99.93%；在标记重排上为 81.69%；而在未知问题结构上仅为 10.46%，且模型回答了“cat can fly”而非预期的“cat cannot read”。关系保持任务完全成功（14 个中 14 个，准确率 100%）。实验表明，模型能力的边界位于记忆和局部迁移与真正泛化之间：模型能很好地复现所学内容并处理小幅变化，但新结构会破坏其行为。限制原因不仅在于参数数量，还在于语料库较小且结构类型有限。作者指出，在没有更多样化数据的情况下增加神经元或模块，只会改善记忆。这是一项可复现的教学诊断，而非完整的基准测试。
来源: Habr — хаб ИИ —
原文