2,8 Billionen Parameter sind nicht das Ende: Das heimische Modell Kimi K4 strebt nach extremer Größe, GPUs werden zum Engpass
Moonshot AI
Das heimische KI-Modell-Startup Moonshot AI hat Kimi K4 veröffentlicht, ein großes Sprachmodell mit Berichten zufolge 2,8 Billionen Parametern, und plant eine weitere Skalierung. Das Unternehmen gibt an, dass die GPU-Versorgung nun der primäre Engpass für das Training größerer Modelle ist.
Moonshot AI, das chinesische Startup hinter der Kimi-K-Serie, gab die Veröffentlichung seines neuesten Modells Kimi K4 bekannt und behauptet, dass es 2,8 Billionen Parameter habe. Dies macht es zu einem der größten bekannten dichten Modelle. Das Unternehmen gab an, dass dies nicht die Obergrenze sei; man plane, die Modellgröße weiter zu skalieren. Als Hauptlimitierungsfaktor für eine weitere Expansion wurde jedoch die Verfügbarkeit leistungsstarker Grafikprozessoren genannt. Das bestehende Modell wurde mit Tausenden von NVIDIA H800 GPUs trainiert, und die Beschaffung fortschrittlicherer Hardware ist aufgrund von Exportbeschränkungen und inländischen Lieferengpässen schwierig.
Quelle: DeepSeek (GNews) —
Original