O Kimi K3 da Moonshot AI alcança capacidades de implantação saindo do ecossistema NVIDIA e conclui o projeto de protótipo de um chip de inferência de 45nm.
Moonshot AI
Este tutorial detalha a implantação do modelo de linguagem Bonsai-27B quantizado em 1 bit usando o fork PrismML do llama.cpp. Ele cobre a configuração do ambiente GPU, compilação de binários habilitados para CUDA, download do modelo GGUF do Hugging Face, execução de testes de linha de comando, lançamento de um servidor de inferência local compatível com OpenAI, e interação via um cliente Python que suporta streaming, conversas de múltiplas voltas e geração de código. Recursos opcionais como inferência de contexto longo, decodificação especulativa e visão também são discutidos.
PrismML