От GPT-2 до Kimi K3: семь лет масштабирования в 22 600 раз, основная линия архитектуры больших моделей — создание «операционной системы памяти»
В статье прослеживается эволюция больших языковых моделей от GPT-2 до Kimi K3, подчеркивается 22 600-кратное увеличение масштаба за семь лет. Утверждается, что архитектурная тенденция направлена на создание «операционной системы памяти» для ИИ.
本文讨论了人工智能大语言模型从OpenAI的GPT-2到月之暗面（Moonshot AI）的Kimi K3的发展历程，指出七年间模型规模扩大了22600倍。文章提出，主要的架构方向是构建一个能够高效管理上下文和知识的“记忆操作系统”。文章可能详细阐述了这种以记忆为中心的方法如何实现更长的上下文和更复杂的推理。
Источник: Moonshot Kimi (GNews) —
оригинал