Do GPT-2 ao Kimi K3: Sete Anos de Escala 22.600x, a Linha Principal da Arquitetura de Grandes Modelos está Construindo um 'Sistema Operacional de Memória'
OpenAI
Moonshot AI
O artigo traça a evolução dos grandes modelos de linguagem do GPT-2 ao Kimi K3, destacando um aumento de 22.600 vezes na escala em sete anos. Argumenta que a tendência arquitetônica é estabelecer um 'sistema operacional de memória' para IA.
O artigo discute o desenvolvimento dos grandes modelos de linguagem, do GPT-2 da OpenAI ao Kimi K3 da Moonshot AI, observando que a escala dos modelos aumentou por um fator de 22.600 em sete anos. Ele sugere que a principal direção arquitetônica é construir um 'sistema operacional de memória' que gerencia contexto e conhecimento de forma eficiente. O texto provavelmente elabora sobre como essa abordagem centrada na memória permite contextos mais longos e raciocínio mais complexo.
Fonte: Moonshot Kimi (GNews) —
original