从GPT-2到Kimi K3:规模七年增长22580倍,主流架构构建“记忆操作系统”
从GPT-2到Kimi K3的技术演变展示了AI架构如何从“记住一切”转向“选择性记忆”。KV缓存解决了生成效率问题,线性注意力探索更高效的长期记忆,DeltaNet和Kimi Linear使模型学会更新、遗忘和管理信息。Kimi K3拥有2.8万亿参数,相当于约22580个GPT-2模型。
Moonshot AI
InfoQ 中国30.07 · 13:02
从GPT-2到Kimi K3的技术演变展示了AI架构如何从“记住一切”转向“选择性记忆”。KV缓存解决了生成效率问题,线性注意力探索更高效的长期记忆,DeltaNet和Kimi Linear使模型学会更新、遗忘和管理信息。Kimi K3拥有2.8万亿参数,相当于约22580个GPT-2模型。
Moonshot AI
马克·扎克伯格为Meta启动了一项重大AI营销活动,利用怀旧主题推广公司的人工智能愿景,尽管面临持续批评。该活动旨在重塑公众认知,并为Meta的AI投资争取支持。
Meta