ByteDance envisage d'entraîner un modèle de plus de 5 000 milliards de paramètres ; Zhang Yiming affirme qu'il n'y aura pas de distillation et qu'il ne faut pas se laisser influencer par des tendances à court terme comme le codage

ByteDance serait en pourparlers pour entraîner un modèle d'IA de pointe comportant plus de 5 000 milliards de paramètres, selon des sources internes. Le fondateur de l'entreprise, Zhang Yiming, a déclaré qu'ils n'utiliseraient pas la distillation, une technique où un modèle plus petit apprend d'un modèle plus grand, et a conseillé de ne pas se laisser distraire par les tendances à court terme dans le domaine, comme l'accent actuel sur le codage. Cette initiative signale l'ambition de ByteDance de rivaliser au premier plan du développement de l'IA, même alors qu'elle fait face à la concurrence d'autres géants technologiques en Chine. La nouvelle a été rapportée par Sina Finance, citant des conversations au sein de l'entreprise.