De GPT-2 à Kimi K3 : l'échelle multipliée par 22 580 en sept ans, le fil architectural principal construit un « système d'exploitation de la mémoire »
Moonshot AI
L'évolution technique des grands modèles, de GPT-2 à Kimi K3, montre comment l'architecture de l'IA passe de « tout mémoriser » à une « mémoire sélective ». Le cache KV résout l'efficacité de la génération, l'attention linéaire explore une mémoire à long terme plus efficace, DeltaNet et Kimi Linear permettent aux modèles d'apprendre à mettre à jour, oublier et gérer les informations. Kimi K3 possède 2 800 milliards de paramètres, soit l'équivalent d'environ 22 580 modèles GPT-2.
Cet article retrace sept années d'évolution architecturale, analysant les changements techniques derrière la croissance en taille des grands modèles et expliquant comment Kimi K3 dépasse les limitations du Transformer traditionnel grâce à de nouveaux mécanismes de mémoire. GPT-2 utilisait une architecture décodeur uniquement avec des embeddings de tokens et de positions. Le cache KV stocke les vecteurs clé-valeur pour éviter les recalculs. L'attention linéaire applique des cartes de caractéristiques (par exemple, ELU+1) à q et k, compressant les vecteurs KV en une matrice d'état de taille fixe. DeltaNet étend l'attention linéaire avec une règle delta pour mettre à jour sélectivement la mémoire, réduisant ainsi les interférences d'information. Gated DeltaNet combine la méthode de gating de Mamba avec la règle delta, en ajoutant un paramètre de décroissance α. Kimi Linear améliore Gated DeltaNet avec un gating par canal à granularité fine. Le backbone linguistique de Kimi K3 comporte 23 macro-boucles, chacune contenant trois couches d'attention de type Kimi Delta et une couche d'attention multi-têtes latente. Il utilise un FFN dense dans la première couche et un MoE latent dans toutes les autres. Kimi K3 compte 898 experts au total ; deux experts partagés traitent chaque token, et le routeur sélectionne 16 experts par token parmi les 896 restants.
Source: InfoQ 中国 —
original