ByteDance construye el mayor modelo de IA de China

Según el Financial Times, ByteDance está entrenando un modelo de IA con hasta diez billones de parámetros, lo que lo convierte en el más grande de China. Esto es tres veces más grande que el Kimi K3 de Moonshot, el modelo chino más grande anterior, y se acerca al Mythos 5 de Anthropic, que según estimaciones de la industria tiene alrededor de ocho billones de parámetros, aunque Anthropic no ha revelado cifras oficiales. Tres personas cercanas a la compañía dijeron al FT que el modelo está en fase de preentrenamiento, una etapa que suele durar de tres a seis meses. Los parámetros determinan cuánto puede almacenar un modelo, pero el rendimiento también depende de la calidad de los datos y de los métodos de entrenamiento. Una fuente señaló que ByteDance se ha abstenido de la destilación, es decir, de ajustar el modelo con los resultados de otros modelos, durante más de un año. El fundador Zhang Yiming ha instado al equipo Seed, de unas 2.000 personas, a perseguir capacidades de modelo líderes a nivel mundial a largo plazo. Mientras tanto, se informa que la empresa xAI de Elon Musk está entrenando variantes de Grok con seis y diez billones de parámetros en su clúster Colossus 2.