伊利亚首款模型曝光：SSI的测试时训练引擎

X平台用户'Three Strawberries'的泄露消息称，伊利亚·苏茨克韦尔的初创公司SSI正在探索一款基于测试时训练（TTT）的小型推理引擎。该模型利用精心策划的数据来学习如何学习，然后在解决问题过程中更新部分权重，使得即使是小型模型也能与大型模型竞争。泄露者称当前版本已经准备就绪，下一版将扩大十倍规模，当前版本最早可能在八月份面向有限用户推出。这与伊利亚先前关于持续学习和通用人工智能（AGI）的言论一致，他相信超级智能应在部署后继续学习，也与英伟达近期宣布与SSI建立战略合作伙伴关系并投资一事相符，这使SSI的计算能力提升了一个数量级。与传统上下文扩展方法不同，TTT方法将上下文视为训练数据，允许模型在推理过程中改变自身，尽管这引发了安全隐患，泄露者声称伊利亚已解决这些问题。成立于2024年的SSI一直行事隐秘，但此次泄露表明其可能取得突破。消息还提到论文《端到端测试时训练用于长上下文》作为相关工作。