Cómo llegó Kimi K3 a la cima: el viaje de entrenamiento de 2,8 billones de parámetros

Moonshot AI ha desarrollado Kimi K3, un modelo de lenguaje grande con 2,8 billones de parámetros, logrando el máximo rendimiento en pruebas de referencia. El proceso de entrenamiento implicó una arquitectura de Mezcla de Expertos (MoE) y computación paralela masiva en miles de GPU. El modelo demuestra mejoras significativas en razonamiento, codificación y capacidades multilingües. Este logro destaca las crecientes capacidades de China en el desarrollo de modelos de IA a gran escala.