Moonshot AI publica los pesos de su popular Kimi-K3, casi a la par de los líderes del mercado pero mucho más sencillo de ejecutar

Moonshot AI ha publicado gratuitamente los pesos de su modelo Kimi-K3, lo que permite a cualquiera con suficiente capacidad computacional ejecutarlo localmente. El modelo supera significativamente a generaciones anteriores de OpenAI GPT y Anthropic Claude, y solo está ligeramente por detrás de los últimos modelos Sol y Fable. Kimi-K3 cuesta entre dos y tres veces menos operar que sus contrapartes estadounidenses, y con aciertos de caché en tareas de programación, los costos se reducen a 0,30 dólares por millón de tokens, frente a los 3 dólares del precio estándar de entrada. La eficiencia probablemente proviene del uso de MXFP4 para el almacenamiento de pesos y MXFP8 para la activación, ambos formatos de baja precisión que ahorran memoria. De sus 2,8 billones de parámetros, solo 104,2 mil millones están activos simultáneamente. El modelo está diseñado para ejecutarse en aceleradores Nvidia H20, que carecen de soporte nativo para punto flotante MX, pero podría funcionar de manera aún más eficiente en chips Blackwell. Kimi-K3 reemplaza la caché clave-valor con un manejador de estado de tamaño fijo llamado Kimi Delta Attention, y utiliza MoE con solo 16 de 896 expertos activados. Sin embargo, solo los pesos son abiertos; el proceso de entrenamiento y el conjunto de datos siguen siendo propietarios.