Moonshot AI publie les poids de son célèbre Kimi-K3 — presque au niveau des leaders du marché mais bien plus simple à exécuter

Moonshot AI a publié gratuitement les poids de son modèle Kimi-K3, permettant à quiconque disposant de suffisamment de puissance de calcul de l'exécuter localement. Le modèle surpasse significativement les générations précédentes d'OpenAI GPT et d'Anthropic Claude, et n'est que légèrement en retard par rapport aux derniers modèles Sol et Fable. Kimi-K3 est deux à trois fois moins cher à faire fonctionner que ses homologues américains, et avec des hits de cache sur des tâches de codage, les coûts tombent à 0,30 dollar par million de tokens, contre un tarif d'entrée standard de 3 dollars. L'efficacité provient probablement de l'utilisation du MXFP4 pour le stockage des poids et du MXFP8 pour l'activation, deux formats de basse précision qui économisent de la mémoire. Sur ses 2,8 billions de paramètres, seuls 104,2 milliards sont actifs simultanément. Le modèle est conçu pour fonctionner sur des accélérateurs Nvidia H20, qui ne supportent pas nativement les nombres flottants MX, mais pourrait être encore plus efficace sur les puces Blackwell. Kimi-K3 remplace le cache clé-valeur par un gestionnaire d'état de taille fixe appelé Kimi Delta Attention, et utilise le MoE (mélange d'experts) avec seulement 16 des 896 experts activés. Cependant, seuls les poids sont ouverts ; le processus d'entraînement et l'ensemble de données restent propriétaires.