Moonshot AI veröffentlicht Gewichte des beliebten Kimi-K3 – nahezu auf Augenhöhe mit Marktführern, aber viel einfacher zu betreiben

Moonshot AI hat die Gewichte seines Kimi-K3-Modells kostenlos veröffentlicht, sodass jeder mit ausreichender Rechenleistung es lokal ausführen kann. Das Modell übertrifft frühere Generationen von OpenAI GPT und Anthropic Claude deutlich und liegt nur geringfügig hinter den neuesten Sol- und Fable-Modellen zurück. Der Betrieb von Kimi-K3 ist zwei- bis dreimal günstiger als bei amerikanischen Pendants, und bei Cache-Treffern bei Programmieraufgaben sinken die Kosten auf 0,30 Dollar pro Million Tokens, verglichen mit dem Standard-Eingabepreis von 3 Dollar. Die Effizienz beruht wahrscheinlich auf der Verwendung von MXFP4 für die Gewichtsspeicherung und MXFP8 für die Aktivierung, beides niedrigpräzise Formate, die Speicher sparen. Von seinen 2,8 Billionen Parametern sind nur 104,2 Milliarden gleichzeitig aktiv. Das Modell ist für den Betrieb auf Nvidia H20-Beschleunigern ausgelegt, die keine native Unterstützung für MX-Gleitkommazahlen bieten, könnte aber auf Blackwell-Chips noch effizienter laufen. Kimi-K3 ersetzt den Schlüssel-Wert-Cache durch einen zustandsbasierten Handler fester Größe namens Kimi Delta Attention und verwendet ein Mixture-of-Experts (MoE)-Modell mit nur 16 von 896 aktivierten Experten. Allerdings sind nur die Gewichte offen; der Trainingsprozess und der Datensatz bleiben proprietär.