ByteDance desenvolve o maior modelo de IA da China

De acordo com o Financial Times, a ByteDance está treinando um modelo de IA com até dez trilhões de parâmetros, tornando-o o maior da China. Isso é três vezes maior que o Kimi K3 da Moonshot, o maior modelo chinês anterior, e se aproxima do Mythos 5 da Anthropic, que estimativas do setor situam em torno de oito trilhões de parâmetros, embora a Anthropic não tenha divulgado números oficiais. Três fontes internas disseram ao FT que o modelo está em pré-treinamento, fase que geralmente dura de três a seis meses. Os parâmetros determinam quanto um modelo pode armazenar, mas o desempenho também depende da qualidade dos dados e dos métodos de treinamento. Uma fonte disse que a ByteDance se absteve de destilação, ou ajuste fino com base nas saídas de outros modelos, por mais de um ano. O fundador Zhang Yiming instou a equipe Seed, com 2.000 integrantes, a buscar capacidades de modelo líderes mundiais no longo prazo. Enquanto isso, a xAI de Elon Musk está treinando variantes do Grok com seis e dez trilhões de parâmetros em seu cluster Colossus 2.