Kimi K3 : Moonshot AI ouvre les poids d'un modèle de 2,8 billions de paramètres

Le 27 juillet, Moonshot AI a publié les poids de Kimi K3, un modèle MoE de 2,8 billions de paramètres avec 896 experts (16 actifs par jeton, environ 50 milliards de paramètres actifs) et un contexte d'un million de jetons. Il obtient un score de 57 sur l'indice Artificial Analysis, se classant quatrième au global et premier parmi les modèles ouverts, surpassant GLM-5.2 (51) et DeepSeek V4 Pro (44). Il est également en tête du LMArena Frontend Code Arena, battant Claude Fable 5 dans 76 % des comparaisons en aveugle. L'architecture utilise Kimi Delta Attention et Attention Residuals, qui, selon le rapport interne de l'entreprise, offrent une efficacité de passage à l'échelle 2,5 fois supérieure à celle du K2. Les poids occupent environ 1,4 To même en quantification MXFP4, nécessitant des configurations de serveurs multi-GPU. Moonshot a également ouvert FlashKDA (noyaux CUDA pour l'attention), MoonEP (bibliothèque de parallélisme expert) et AgentENV (environnement bac à sable pour l'entraînement d'agents). La licence est personnalisée, exigeant l'affichage de la marque pour les produits comptant plus de 100 millions d'utilisateurs actifs mensuels ou générant plus de 20 millions de dollars de revenus mensuels, ainsi que des accords séparés pour les fournisseurs de MaaS (Model as a Service). Le support est annoncé par Together AI, Fireworks, DigitalOcean, Nebius, Baseten, Modal et vLLM. Le prix de l'API est de 3 dollars par million de jetons en entrée, 15 dollars par million en sortie, et 0,30 dollar pour les entrées en cache.