Kimi K3: Moonshot AI veröffentlicht Gewichte eines 2,8-Billionen-Parameter-Modells

Am 27. Juli veröffentlichte Moonshot AI die Gewichte von Kimi K3, einem MoE-Modell mit 2,8 Billionen Parametern, 896 Experten (16 aktiv pro Token, etwa 50 Milliarden aktive Parameter) und einem Kontext von 1 Million Token. Es erreicht 57 Punkte auf dem Artificial-Analysis-Index, belegt insgesamt den vierten Platz und den ersten Platz unter den offenen Modellen und übertrifft damit GLM-5.2 (51) und DeepSeek V4 Pro (44). Es belegte auch den ersten Platz in der LMArena Frontend Code Arena und schlug Claude Fable 5 in 76 % der Blindvergleiche. Die Architektur verwendet Kimi Delta Attention und Attention Residuals, die laut dem internen Bericht des Unternehmens eine 2,5-fache Skalierungseffizienz im Vergleich zu K2 bieten sollen. Die Gewichte belegen selbst in der MXFP4-Quantisierung etwa 1,4 Terabyte, was Multi-GPU-Serverkonfigurationen erfordert. Moonshot hat auch FlashKDA (CUDA-Kernel für Attention), MoonEP (Bibliothek für Expertenparallelität) und AgentENV (Sandbox-Umgebung für Agententraining) veröffentlicht. Die Lizenz ist benutzerdefiniert und verlangt die Darstellung der Marke für Produkte mit mehr als 100 Millionen monatlich aktiven Nutzern oder einem monatlichen Umsatz von 20 Millionen US-Dollar sowie separate Vereinbarungen für MaaS-Anbieter. Unterstützung wird von Together AI, Fireworks, DigitalOcean, Nebius, Baseten, Modal und vLLM angekündigt. Die API-Preise betragen 3 US-Dollar pro Million Input-Token, 15 US-Dollar pro Million Output-Token und 0,30 US-Dollar für gecachten Input.