2 800 milliards de paramètres n'est pas la fin : le modèle national Kimi K4 vise une échelle extrême, les GPU deviennent un goulot d'étranglement

Moonshot AI, la start-up chinoise à l'origine de la série Kimi K, a annoncé la sortie de son dernier modèle, Kimi K4, affirmant qu'il possède 2 800 milliards de paramètres. Cela en fait l'un des plus grands modèles denses jamais signalés. L'entreprise a indiqué qu'il ne s'agit pas d'un plafond ; elle prévoit de continuer à augmenter la taille du modèle. Cependant, elle a cité la disponibilité de GPU hautes performances comme principal facteur limitant pour une expansion supplémentaire. Le modèle existant a été entraîné à l'aide de milliers de GPU NVIDIA H800, et l'acquisition de matériel plus avancé est difficile en raison des restrictions à l'exportation et des contraintes d'approvisionnement nationales.