Kimi K2 publica el código abierto del mayor modelo del mundo por parámetros

Moonshot AI ha anunciado la liberación completa del código fuente de su modelo Kimi K2, que es el modelo de código abierto más grande del mundo por número de parámetros. El modelo ya está disponible en varias plataformas en la nube, incluyendo Tencent Cloud, ModelScope, Replicate y CrossCompute. Kimi K2 tiene 1 billón de parámetros y utiliza una arquitectura innovadora llamada MoBA (Mixture of Block Attention), que optimiza el procesamiento de contextos largos. El modelo fue entrenado con 15,5 billones de tokens, lo que garantiza un alto rendimiento en codificación, matemáticas y tareas científicas. Kimi K2 supera a modelos como GPT-4o y Claude 3.5 Sonnet en diversas pruebas, mientras que su costo de inferencia es 7 veces menor que el de GPT-4o. El modelo está disponible para uso comercial bajo una licencia de código abierto, lo que permite a desarrolladores y empresas utilizarlo con fines comerciales.