2,8 billions de paramètres n'est pas la fin : le modèle national Kimi K4 vise l'extrême échelle, les GPU deviennent un goulot d'étranglement
Moonshot AI
La start-up nationale de modèles d'IA Moonshot AI a publié Kimi K4, un grand modèle de langage avec prétendument 2,8 billions de paramètres, et prévoit de passer à l'échelle supérieure. La société indique que l'approvisionnement en GPU constitue désormais le principal goulot d'étranglement pour l'entraînement de modèles plus grands.
Moonshot AI, la start-up chinoise à l'origine de la série Kimi K, a annoncé la sortie de son dernier modèle, Kimi K4, affirmant qu'il possède 2 800 milliards de paramètres. Cela en fait l'un des plus grands modèles denses jamais signalés. L'entreprise a indiqué qu'il ne s'agit pas d'un plafond ; elle prévoit de continuer à augmenter la taille du modèle. Cependant, elle a cité la disponibilité de GPU hautes performances comme principal facteur limitant pour une expansion supplémentaire. Le modèle existant a été entraîné à l'aide de milliers de GPU NVIDIA H800, et l'acquisition de matériel plus avancé est difficile en raison des restrictions à l'exportation et des contraintes d'approvisionnement nationales.
Source: DeepSeek (GNews) —
original