Kimi K3 open-source: Anthropic laat eindelijk zijn kaarten zien

Moonshot AI heeft het Kimi K3-model als opensource uitgebracht, waarvan de prestaties op benchmarks vergelijkbaar zijn met die van Anthropic's Claude Sonnet 4. De opensource-release omvat de modelgewichten en een technisch rapport. Het rapport onthult dat Anthropic een opgeschaalde versie van de optimale Chinchilla-verhouding heeft toegepast, die een grotere batchgrootte en een hogere leerratio ondersteunt voor efficiëntere training. Kimi K3 is gebaseerd op een Mixture of Experts-architectuur (MoE), met in totaal 48 experts en 2 actieve experts per token, met 37 miljard geactiveerde parameters van in totaal 264 miljard parameters. Het model is ontworpen voor schaalbaarheid en efficiëntie, met een contextlengte van 128K en FP8-gemengde precisietraining. Het opensourcen van Kimi K3 wordt gezien als een zet om geavanceerde AI toegankelijker te maken en gevestigde spelers zoals Anthropic en OpenAI uit te dagen.