Como o Kimi K3 Funciona: 2,8 Trilhões de Parâmetros, Atenção Linear e Agentes de Milhão de Tokens
A Moonshot AI liberou os pesos de seu modelo Kimi K3, um modelo multimodal baseado em uma arquitetura de Mistura de Especialistas com 2,8 trilhões de parâmetros, dos quais 104 bilhões são ativados por token. Em certos benchmarks de programação e uso de ferramentas, o modelo supera concorrentes, mas, em média, fica atrás de alguns deles.
Moonshot AI
Anthropic
OpenAI


