ByteDance baut Chinas größtes KI-Modell

Laut Financial Times trainiert ByteDance ein KI-Modell mit bis zu zehn Billionen Parametern und macht es damit zum größten in China. Das ist dreimal so groß wie Moonshots Kimi K3, das bisher größte chinesische Modell, und nähert sich Anthropics Mythos 5 an, das nach Branchenschätzungen rund acht Billionen Parameter umfasst, obwohl Anthropic keine offiziellen Zahlen bekannt gegeben hat. Drei Eingeweihte teilten der FT mit, dass sich das Modell in der Vor-Trainingsphase befindet, die in der Regel drei bis sechs Monate dauert. Parameter bestimmen, wie viel ein Modell speichern kann, aber die Leistung hängt auch von der Datenqualität und den Trainingsmethoden ab. Eine Quelle sagte, dass ByteDance seit über einem Jahr auf Destillation, also das Feintuning an den Ausgaben anderer Modelle, verzichtet hat. Gründer Zhang Yiming hat das 2.000-köpfige Seed-Team gedrängt, langfristig weltweit führende Modellfähigkeiten anzustreben. In der Zwischenzeit trainiert Elon Musks xAI Berichten zufolge Grok-Varianten mit sechs und zehn Billionen Parametern auf seinem Colossus-2-Cluster.