ByteDance Bouwt China's Grootste AI-model

Volgens de Financial Times traint ByteDance een AI-model met tot wel tien biljoen parameters, waarmee het het grootste van China zou zijn. Dat is drie keer zo groot als Kimi K3 van Moonshot, het vorige grootste Chinese model, en benadert Mythos 5 van Anthropic, waarvan de industrie schat dat het rond de acht biljoen parameters heeft, hoewel Anthropic geen officiële cijfers heeft bekendgemaakt. Drie insiders vertelden de FT dat het model zich in de pre-trainingfase bevindt, een fase die gewoonlijk drie tot zes maanden duurt. Parameters bepalen hoeveel een model kan opslaan, maar de prestaties hangen ook af van de kwaliteit van de data en de trainingsmethoden. Een bron zei dat ByteDance al meer dan een jaar geen gebruik heeft gemaakt van distillatie, oftewel het verfijnen op basis van de outputs van andere modellen. Oprichter Zhang Yiming heeft het team van 2000 mensen achter Seed opgeroepen om op de lange termijn te streven naar toonaangevende modelmogelijkheden wereldwijd. Ondertussen zou Elon Musk's xAI bezig zijn met het trainen van Grok-varianten met zes en tien biljoen parameters op zijn Colossus 2-cluster.