ByteDance développe le plus grand modèle d'IA de Chine

Selon le Financial Times, ByteDance entraîne un modèle d'IA comptant jusqu'à dix billions de paramètres, ce qui en fait le plus grand de Chine. C'est trois fois plus grand que Kimi K3 de Moonshot, le précédent plus grand modèle chinois, et se rapproche du Mythos 5 d'Anthropic, dont les estimations de l'industrie situent le nombre de paramètres autour de huit billions, bien qu'Anthropic n'ait pas divulgué de chiffres officiels. Trois initiés ont déclaré au FT que le modèle est en phase de pré-entraînement, une étape qui dure généralement de trois à six mois. Les paramètres déterminent la quantité de données qu'un modèle peut stocker, mais la performance dépend aussi de la qualité des données et des méthodes d'entraînement. Une source a indiqué que ByteDance s'est abstenu de toute distillation, c'est-à-dire de réglage fin sur les sorties d'autres modèles, depuis plus d'un an. Le fondateur Zhang Yiming a exhorté l'équipe Seed, forte de 2 000 membres, à viser à long terme des capacités de modèles de calibre mondial. Parallèlement, la société xAI d'Elon Musk formerait des variantes de Grok avec six et dix billions de paramètres sur son cluster Colossus 2.