28 000 milliards de tokens n'est pas la limite : le modèle d'IA chinois Kimi K4 vise plus haut, les GPU sont le goulot d'étranglement

Moonshot AI, le développeur de la série de grands modèles de langage Kimi, a annoncé son modèle de nouvelle génération, Kimi K4. Le fondateur et PDG de l'entreprise a déclaré que l'échelle de Kimi K4 dépassera celle de Kimi K3, qui a été entraîné sur 28,8 billions de tokens. Il a souligné que la principale limitation de la taille du modèle n'est pas l'ambition technologique, mais la disponibilité des unités de traitement graphique (GPU), pointant ainsi les contraintes matérielles comme le principal goulot d'étranglement.