El Kimi K3 de Moonshot AI logra capacidades de despliegue que salen del ecosistema NVIDIA y completa el diseño prototipo de un chip de inferencia de 45nm.
Moonshot AI
Este tutorial detalla el despliegue del modelo de lenguaje Bonsai-27B cuantizado a 1 bit utilizando el fork de PrismML de llama.cpp. Cubre la configuración del entorno GPU, la compilación de binarios con soporte CUDA, la descarga del modelo GGUF desde Hugging Face, la ejecución de pruebas de línea de comandos, el lanzamiento de un servidor de inferencia local compatible con OpenAI y la interacción mediante un cliente Python que admite transmisión, conversación de múltiples turnos y generación de código. También se discuten características opcionales como la inferencia de contexto largo, la decodificación especulativa y la visión.
PrismML