Moonshot AI Merilis Bobot Kimi-K3 yang Populer — Hampir Setara dengan Pemimpin Pasar tetapi Jauh Lebih Sederhana untuk Dijalankan

Moonshot AI telah merilis bobot model Kimi-K3 secara gratis, sehingga siapa pun dengan daya komputasi yang cukup dapat menjalankannya secara lokal. Model ini secara signifikan mengungguli generasi sebelumnya dari OpenAI GPT dan Anthropic Claude, dan hanya sedikit tertinggal dari model Sol dan Fable terbaru. Kimi-K3 2-3 kali lebih murah dioperasikan dibandingkan pesaing Amerika, dan dengan cache hits pada tugas coding, biaya turun menjadi $0,30 per juta token dibandingkan dengan harga input standar $3. Efisiensi ini kemungkinan berasal dari penggunaan MXFP4 untuk penyimpanan bobot dan MXFP8 untuk aktivasi, keduanya merupakan format presisi rendah yang menghemat memori. Dari 2,8 triliun parameternya, hanya 104,2 miliar yang aktif secara bersamaan. Model ini dirancang untuk berjalan pada akselerator Nvidia H20, yang tidak memiliki dukungan asli untuk floating-point MX, tetapi mungkin berjalan lebih efisien pada chip Blackwell. Kimi-K3 mengganti key-value cache dengan state handler berukuran tetap yang disebut Kimi Delta Attention, dan menggunakan MoE dengan hanya 16 dari 896 ahli yang diaktifkan. Namun, hanya bobot yang terbuka; proses pelatihan dan kumpulan data tetap bersifat proprietary.