Hoe Kimi K3 werkt: 2,8 biljoen parameters, lineaire aandacht en miljoenen-tokens agents

Moonshot AI heeft de gewichten van hun nieuwe model Kimi K3 vrijgegeven, gebouwd op een MoE-architectuur (Mixture of Experts) met een totaal van 2,8 biljoen parameters, waarvan 104 miljard actief per token. In afzonderlijke benchmarks voor programmeren en werken met tools presteert K3 beter dan Claude Opus 4.8, GPT-5.5, GPT-5.6 Sol en Claude Fable 5, maar het bedrijf geeft zelf in het technische rapport toe dat het model gemiddeld onderdoet voor Fable 5 en GPT-5.6 Sol. Volgens de technische blog van Moonshot is de architectuur van K3 ontwikkeld als één systeem: er wordt gebruikgemaakt van een hybride van Kimi Delta Attention en globaal MLA (Multi-head Latent Attention), het Attention Residuals-mechanisme, MoE met 896 experts, en speciale training voor lange agenttrajecten, evenals een apart cachesysteem. Deze geïntegreerde aanpak stelt het model in staat om te werken met een context van maximaal een miljoen tokens en complexe agenttaken uit te voeren. Een deel van de beweringen van Moonshot is echter nog niet bevestigd door onafhankelijke tests en is gebaseerd op gegevens van het bedrijf zelf.