从 GPT-2 到 Kimi K3：七年 22600 倍扩展，大模型架构主线正在构建“记忆操作系统”

该文章讨论了从OpenAI的GPT-2到月之暗面（Moonshot AI）Kimi K3的大语言模型发展，指出七年间模型规模扩大了2.26万倍。文章提出，主要的架构方向是构建一个能够有效管理上下文和知识的“记忆操作系统”。这篇文章可能详细阐述了这种以记忆为中心的方法如何实现更长的上下文和更复杂的推理。