Kimi K3 als Open Source veröffentlicht: Anthropic legt endlich die Karten auf den Tisch

Moonshot AI hat das Kimi-K3-Modell als Open Source veröffentlicht, dessen Benchmark-Leistung mit der von Anthropics Claude Sonnet 4 vergleichbar ist. Die Open-Source-Veröffentlichung umfasst die Modellgewichte und einen technischen Bericht. Der Bericht zeigt, dass Anthropic eine skalierte Version des Chinchilla-Optimalverhältnisses übernommen hat, die eine größere Batch-Größe und eine höhere Lernrate für ein effizienteres Training unterstützt. Kimi K3 basiert auf einer Mixture-of-Experts-Architektur (MoE) mit insgesamt 48 Experten und 2 aktiven Experten pro Token, wobei 37 Milliarden Parameter von insgesamt 264 Milliarden Parametern aktiviert sind. Das Modell ist auf Skalierung und Effizienz ausgelegt und verfügt über eine Kontextlänge von 128.000 Token sowie FP8-Mixed-Precision-Training. Die Veröffentlichung von Kimi K3 als Open Source wird als Schritt zur Demokratisierung des Zugangs zu fortschrittlicher KI gesehen und fordert etablierte Akteure wie Anthropic und OpenAI heraus.