2,8 Triliun Parameter Bukan Akhir: Model Dalam Negeri Kimi K4 Targetkan Skala Ekstrem, GPU Jadi Hambatan
Moonshot AI
Perusahaan rintisan AI dalam negeri Moonshot AI telah merilis Kimi K4, sebuah model bahasa besar dengan parameter dilaporkan mencapai 2,8 triliun, dan berencana untuk meningkatkan skala lebih jauh. Perusahaan menyatakan bahwa pasokan GPU kini menjadi hambatan utama untuk melatih model yang lebih besar.
Moonshot AI, perusahaan rintisan asal China di balik seri Kimi K, mengumumkan perilisan model terbarunya, Kimi K4, yang diklaim memiliki 2,8 triliun parameter. Ini menjadikannya salah satu model padat terbesar yang pernah dilaporkan. Perusahaan tersebut mengindikasikan bahwa ini bukanlah batas maksimal; mereka berencana untuk terus meningkatkan ukuran model. Namun, mereka menyebut ketersediaan GPU berkinerja tinggi sebagai faktor pembatas utama untuk ekspansi lebih lanjut. Model yang ada saat ini dilatih menggunakan ribuan GPU NVIDIA H800, dan memperoleh perangkat keras yang lebih canggih menjadi tantangan akibat pembatasan ekspor dan keterbatasan pasokan dalam negeri.
Sumber: DeepSeek (GNews) —
asli