De GPT-2 a Kimi K3: Siete años de escalado 22.600 veces, la línea principal de la arquitectura de grandes modelos está construyendo un 'sistema operativo de memoria'

El artículo analiza el desarrollo de los grandes modelos de lenguaje, desde el GPT-2 de OpenAI hasta el Kimi K3 de Moonshot AI, señalando que la escala de los modelos ha aumentado en un factor de 22.600 en siete años. Sugiere que la principal dirección arquitectónica es la construcción de un 'sistema operativo de memoria' que gestiona el contexto y el conocimiento de manera eficiente. La pieza probablemente detalla cómo este enfoque centrado en la memoria permite un contexto más largo y un razonamiento más complejo.