Sand.ai が世界初の1000億パラメータMoE動画生成モデルをオープンソース化：総パラメータ1140億、活性化パラメータ60億

Sand.ai（清華大学関連チーム）は、MAGI-2-previewをオープンソース化しました。これは、Mixture-of-Experts（MoE）を用いた、初のオープンソースの1,000億パラメータ規模の動画生成モデルです。このモデルは総パラメータ数1,140億ですが、推論ごとに活性化されるのはわずか約60億で、コストを大幅に削減しています。現在の8枚のH100の価格設定によると、10秒の1080p動画の生成コストはわずか0.5元で、主流モデルの約10分の1です。MAGI-2-previewはAA動画生成ベンチマークで6位にランクインし、活性化パラメータが60億しかないにもかかわらず、トップクラスのモデルに近い性能を発揮します。このモデルはシングルストリームアーキテクチャを採用し、テキスト、動画、音声のトークンが統一されたTransformerで一緒に処理され、より優れた音声と映像の同期を実現します。Multi-Head LatentMoEを採用し、3,072次元の隠れ表現を各256次元の12ヘッドに分割し、ヘッドごとに独立したルーティングを行い、各トークンが36層にわたって72個の小さな専門家を活性化し、層ごとに合計3,072個の専門家を使用します。Sand.aiは、長いシーケンスの通信と計算を最適化するために、独自のMagiMoEカーネルライブラリとHead Parallel戦略を開発し、行列パラメータにはMuonを、専門家パラメータにはAdamWを使用しています。データ戦略は、フィルタリングではなく多様なデータの整理に焦点を当てており、トレーニングは広範なカバレッジのための事前トレーニングと、アライメントと安全性のためのポストトレーニングに分けられます。このモデルのオープンソース化は業界を変え、研究者に研究対象となる公開物を提供し、企業にプライベートデプロイのオプションを提供し、オープンとクローズドの競争を激化させます。Swin Transformerの共同執筆者である曹悦氏によって設立されたSand.aiは、型にはまらない道を歩み続けており、その業績は李開復氏から「AI動画生成のDeepSeek」と賞賛されています。