Sand.ai Rilis Open Source Model Generasi Video MoE Pertama di Dunia dengan 100 Miliar Parameter: 114 Miliar Parameter, 6 Miliar Diaktifkan

Sand.ai, tim yang berafiliasi dengan Tsinghua, telah merilis open-source MAGI-2-preview, model generasi video open-source pertama dengan parameter seratus miliar menggunakan Mixture-of-Experts (MoE). Model ini memiliki total parameter 114B tetapi hanya mengaktifkan sekitar 6B per inferensi, secara drastis mengurangi biaya. Menurut harga 8 kartu H100 saat ini, menghasilkan video 10 detik 1080p hanya membutuhkan biaya 0,5 yuan, sekitar sepersepuluh dari model arus utama. MAGI-2-preview menempati peringkat keenam pada benchmark generasi video AA, dengan kinerja mendekati model kelas atas meskipun hanya mengaktifkan 6B parameter. Model ini menggunakan arsitektur aliran tunggal di mana token teks, video, dan audio diproses bersama dalam Transformer terpadu, memungkinkan sinkronisasi audio-visual yang lebih baik. Model ini menggunakan Multi-Head LatentMoE, membagi representasi tersembunyi 3072 dimensi menjadi 12 kepala masing-masing 256 dimensi, dengan perutean independen per kepala, memungkinkan setiap token mengaktifkan 72 pakar kecil di 36 lapisan, total 3072 pakar per lapisan. Sand.ai mengembangkan pustaka kernel MagiMoE khusus dan strategi Head Parallel untuk mengoptimalkan komunikasi dan komputasi untuk urutan panjang, menggunakan Muon untuk parameter matriks dan AdamW untuk parameter pakar. Strategi data berfokus pada pengorganisasian data yang beragam daripada menyaringnya, dan pelatihan dibagi menjadi pra-pelatihan untuk cakupan luas dan pasca-pelatihan untuk penyelarasan dan keamanan. Open-source model ini mengubah industri dengan memberikan peneliti objek publik untuk dipelajari, menawarkan perusahaan opsi penyebaran pribadi, dan mengintensifkan persaingan terbuka-tertutup. Sand.ai, didirikan oleh Cao Yue, penulis bersama Swin Transformer, melanjutkan jalur yang tidak konvensional, dan karyanya telah dipuji oleh Kai-Fu Lee sebagai 'DeepSeek dari generasi video AI'.