Moonshot AI brengt gewichten van populaire Kimi-K3 uit — bijna op gelijke hoogte met marktleiders, maar veel eenvoudiger te draaien

Moonshot AI heeft de gewichten van zijn Kimi-K3-model gratis vrijgegeven, zodat iedereen met voldoende rekenkracht het lokaal kan draaien. Het model presteert aanzienlijk beter dan eerdere generaties van OpenAI GPT en Anthropic Claude, en blijft slechts iets achter bij de nieuwste Sol- en Fable-modellen. Kimi-K3 is twee tot drie keer goedkoper in gebruik dan Amerikaanse tegenhangers, en met cache-hits bij codeertaken dalen de kosten tot 0,30 dollar per miljoen tokens, vergeleken met 3 dollar voor standaard invoerprijzen. De efficiëntie komt waarschijnlijk door het gebruik van MXFP4 voor gewichtsopslag en MXFP8 voor activeringen, beide lage-precisieformaten die geheugen besparen. Van de 2,8 biljoen parameters zijn er slechts 104,2 miljard tegelijkertijd actief. Het model is ontworpen om te draaien op Nvidia H20-versnellers, die geen native ondersteuning voor MX floating-point hebben, maar mogelijk nog efficiënter werken op Blackwell-chips. Kimi-K3 vervangt de key-value cache door een statusverwerker met vaste grootte, genaamd Kimi Delta Attention, en gebruikt MoE met slechts 16 van de 896 experts geactiveerd. Alleen de gewichten zijn echter open; het trainingsproces en de dataset blijven propriëtair.