Sand.ai Open-Sources World's First 100B-Parameter MoE Video Generation Model: 114B Parameters, 6B Activated

Sand.ai, ein Team, das mit der Tsinghua-Universität verbunden ist, hat MAGI-2-preview als Open Source veröffentlicht, das erste Open-Source-Videogenerierungsmodell mit hundert Milliarden Parametern, das Mixture-of-Experts (MoE) verwendet. Das Modell hat insgesamt 114 Milliarden Parameter, aktiviert aber pro Inferenz nur etwa 6 Milliarden, was die Kosten drastisch reduziert. Nach den aktuellen Preisen für 8 H100-Grafikkarten kostet die Erzeugung eines 10-sekündigen 1080p-Videos nur 0,5 Yuan, etwa ein Zehntel der Kosten gängiger Modelle. MAGI-2-preview belegt den sechsten Platz auf dem AA-Videogenerierungs-Benchmark und erreicht trotz nur 6 Milliarden aktivierten Parametern eine Leistung nahe der Spitzenmodelle. Das Modell verwendet eine Single-Stream-Architektur, bei der Text-, Video- und Audiotokens gemeinsam in einem einheitlichen Transformer verarbeitet werden, was eine bessere Audio-Video-Synchronisation ermöglicht. Es verwendet Multi-Head LatentMoE, das die 3072-dimensionale verborgene Darstellung in 12 Köpfe mit jeweils 256 Dimensionen aufteilt, mit unabhängigem Routing pro Kopf, sodass jedes Token 72 kleine Experten über 36 Schichten aktiviert, insgesamt 3072 Experten pro Schicht. Sand.ai entwickelte eine eigene MagiMoE-Kernel-Bibliothek und eine Head-Parallel-Strategie, um Kommunikation und Berechnung für lange Sequenzen zu optimieren, wobei Muon für Matrixparameter und AdamW für Expertenparameter verwendet wird. Die Datenstrategie konzentriert sich darauf, vielfältige Daten zu organisieren, anstatt sie zu filtern, und das Training ist in Pre-Training für breite Abdeckung und Post-Training für Ausrichtung und Sicherheit unterteilt. Die Veröffentlichung dieses Modells als Open Source verändert die Branche, indem sie Forschern ein öffentliches Objekt zum Studieren bietet, Unternehmen eine private Bereitstellungsoption ermöglicht und den offen-geschlossenen Wettbewerb intensiviert. Sand.ai, gegründet von Cao Yue, Mitautor von Swin Transformer, setzt seinen unkonventionellen Weg fort, und seine Arbeit wurde von Kai-Fu Lee als das „DeepSeek der KI-Videogenerierung“ gelobt.