De GPT-2 à Kimi K3 : sept ans de mise à l'échelle 22 600 fois, la ligne principale de l'architecture des grands modèles construit un « système d'exploitation mémoire »

L'article traite du développement des grands modèles de langage, de GPT-2 d'OpenAI à Kimi K3 de Moonshot AI, en notant que leur taille a été multipliée par 22 600 en sept ans. Il suggère que la principale orientation architecturale consiste à construire un « système d'exploitation de la mémoire » qui gère efficacement le contexte et les connaissances. L'article développe probablement la manière dont cette approche centrée sur la mémoire permet d'obtenir un contexte plus long et un raisonnement plus complexe.