Sand.ai, Dünyanın İlk 100 Milyar Parametreli MoE Video Üretim Modelini Açık Kaynak Olarak Yayınladı: 114 Milyar Parametre, 6 Milyar Aktif
Sand.ai, Mixture-of-Experts mimarisi kullanan ve 100 milyar parametreyi aşan dünyanın ilk açık kaynaklı video üretim modeli olan MAGI-2-preview'ı yayınladı. Model toplamda 114 milyar parametreye sahip ancak her ileri geçişte yalnızca yaklaşık 6 milyarını aktifleştiriyor ve bu sayede sadece 0,5 yuan maliyetle 10 saniyelik 1080p video üretimi mümkün oluyor; bu, ana akım modellerin yaklaşık onda biri. AA video üretim kıyaslamasında altıncı sırada yer alan model, minimum aktivasyonla güçlü performans sergiliyor.
Tsinghua bağlantılı ekip Sand.ai, yüz milyar parametreli ilk açık kaynak video üretim modeli olan MAGI-2-preview'ı yayınladı. Model, Uzman Karışımı (MoE) mimarisini kullanıyor. Modelin toplam 114B parametresi var ancak her çıkarımda yalnızca yaklaşık 6B'si etkinleştiriliyor ve bu da maliyetleri büyük ölçüde düşürüyor. Mevcut 8 kartlı H100 fiyatlandırmasına göre, 10 saniyelik 1080p video üretmenin maliyeti yalnızca 0,5 yuan ve bu, ana akım modellerin yaklaşık onda biri. MAGI-2-preview, AA video üretim kıyaslama testinde altıncı sırada yer alıyor ve yalnızca 6B etkinleştirilmiş parametreye rağmen performansı üst düzey modellere yakın. Model, metin, video ve ses belirteçlerinin birleşik bir Transformer içinde birlikte işlendiği tek akışlı bir mimari kullanıyor ve bu da daha iyi görsel-işitsel senkronizasyon sağlıyor. Çok Başlı Gizli Uzman Karışımı (Multi-Head Latent MoE) kullanıyor; 3072 boyutlu gizli gösterimi her biri 256 boyutlu 12 başlığa bölüyor ve her başlık için bağımsız yönlendirme yapıyor. Bu, her belirtecin 36 katman boyunca 72 küçük uzmanı etkinleştirmesine olanak tanıyor ve katman başına toplam 3072 uzman bulunuyor. Sand.ai, uzun diziler için iletişim ve hesaplamayı optimize etmek amacıyla özel bir MagiMoE çekirdek kitaplığı ve Baş Paralel (Head Parallel) stratejisi geliştirdi; matris parametreleri için Muon ve uzman parametreleri için AdamW kullanıyor. Veri stratejisi, verileri filtrelemek yerine çeşitli verileri düzenlemeye odaklanıyor ve eğitim, geniş kapsam için ön eğitim ile uyum ve güvenlik için son eğitim olarak ikiye ayrılıyor. Bu modelin açık kaynak yapılması, araştırmacılara inceleyebilecekleri kamuya açık bir nesne sağlayarak, işletmelere özel dağıtım seçeneği sunarak ve açık-kapalı rekabeti yoğunlaştırarak sektörü değiştiriyor. Swin Transformer'ın ortak yazarı Cao Yue tarafından kurulan Sand.ai, alışılmadık yoluna devam ediyor ve çalışmaları, Kai-Fu Lee tarafından 'AI video üretiminin DeepSeek'i' olarak övüldü.
Kaynak: QbitAI 量子位 —
orijinal