Sand.ai 开源全球首个千亿参数 MoE 视频生成模型：总参数 114B，激活参数仅 6B

Sand.ai，一个清华关联团队，已开源MAGI-2-preview，这是首个采用混合专家（MoE）架构、拥有千亿参数的开源视频生成模型。该模型总参数达1140亿，但每次推理仅激活约60亿参数，大幅降低了成本。按当前8卡H100的定价，生成一段10秒1080p视频仅需0.5元，约为主流模型的十分之一。MAGI-2-preview在AA视频生成基准测试中排名第六，尽管只激活60亿参数，性能已接近顶级模型。该模型采用单流架构，文本、视频和音频令牌在统一的Transformer中共同处理，从而实现更好的音画同步。它使用多头潜在MoE，将3072维的隐藏表示拆分为12个头，每个头256维，并分别独立路由，使得每个令牌可在36层中激活72个小专家，每层共有3072个专家。Sand.ai开发了定制的MagiMoE内核库和头部并行策略，以优化长序列的通信和计算，对矩阵参数使用Muon优化器，对专家参数使用AdamW。数据策略侧重于组织多样化数据而非过滤，训练分为预训练（以广泛覆盖为目标）和后训练（用于对齐与安全）。开源此模型改变了行业格局，为研究人员提供了可公开研究的对象，为企业提供了私有化部署的选择，并加剧了开源与闭源之间的竞争。Sand.ai由Swin Transformer的合著者曹越创立，继续走着非传统的道路，其工作被李开复称赞为“AI视频生成领域的DeepSeek”。