Kimi K2 veröffentlicht Open-Source-Modell mit weltweit meisten Parametern

Moonshot AI hat die vollständige Open-Source-Freigabe seines Modells Kimi K2 angekündigt, das weltweit das größte Open-Source-Modell nach Parameteranzahl ist. Das Modell ist bereits auf mehreren Cloud-Plattformen verfügbar, darunter Tencent Cloud, ModelScope, Replicate und CrossCompute. Kimi K2 hat 1 Billion Parameter und verwendet eine innovative Architektur namens MoBA (Mixture of Block Attention), die die Verarbeitung langer Kontexte optimiert. Das Modell wurde mit 15,5 Billionen Token trainiert, was eine hohe Leistung in den Bereichen Programmierung, Mathematik und wissenschaftliche Aufgaben gewährleistet. Kimi K2 übertrifft Modelle wie GPT-4o und Claude 3.5 Sonnet in verschiedenen Tests, während die Inferenzkosten siebenmal niedriger sind als bei GPT-4o. Das Modell ist für die kommerzielle Nutzung unter einer Open-Source-Lizenz verfügbar, was es Entwicklern und Unternehmen ermöglicht, es für kommerzielle Zwecke einzusetzen.