2,8 billones de parámetros no es el final: el modelo nacional Kimi K4 apunta a una escala extrema, las GPU se convierten en el cuello de botella

Moonshot AI, la startup china detrás de la serie Kimi K, anunció el lanzamiento de su último modelo, Kimi K4, afirmando que tiene 2,8 billones de parámetros. Esto lo convierte en uno de los modelos densos más grandes reportados. La compañía indicó que esto no es el límite; planean seguir escalando el tamaño del modelo. Sin embargo, citaron la disponibilidad de GPU de alto rendimiento como el principal factor limitante para una mayor expansión. El modelo existente se entrenó utilizando miles de GPU NVIDIA H800, y adquirir hardware más avanzado es un desafío debido a las restricciones de exportación y las limitaciones de suministro nacional.