Sand.ai open-source le premier modèle de génération vidéo MoE à 100 milliards de paramètres au monde : 114 milliards de paramètres, 6 milliards activés

Sand.ai, une équipe associée à l'université Tsinghua, a mis en open source MAGI-2-preview, le premier modèle de génération vidéo open source avec cent milliards de paramètres utilisant le mélange d'experts (MoE). Le modèle compte 114 milliards de paramètres au total, mais n'active que 6 milliards par inférence, ce qui réduit considérablement les coûts. Selon la tarification actuelle des huit cartes H100, la génération d'une vidéo 1080p de dix secondes ne coûte que 0,5 yuan, soit environ un dixième des modèles dominants. MAGI-2-preview se classe sixième sur le benchmark de génération vidéo AA, avec des performances proches des modèles de premier plan malgré seulement 6 milliards de paramètres activés. Le modèle utilise une architecture à flux unique où les jetons de texte, de vidéo et d'audio sont traités ensemble dans un transformateur unifié, ce qui permet une meilleure synchronisation audiovisuelle. Il emploie un LatentMoE multi-têtes, divisant la représentation cachée de 3072 dimensions en douze têtes de 256 dimensions chacune, avec un routage indépendant par tête, permettant à chaque jeton d'activer 72 petits experts sur trente-six couches, soit 3072 experts par couche au total. Sand.ai a développé une bibliothèque de noyaux MagiMoE personnalisée et une stratégie de parallélisme Head Parallel pour optimiser la communication et le calcul pour les longues séquences, en utilisant Muon pour les paramètres de matrice et AdamW pour les paramètres des experts. La stratégie de données se concentre sur l'organisation de données diversifiées plutôt que sur leur filtrage, et l'entraînement est divisé en pré-entraînement pour une large couverture et post-entraînement pour l'alignement et la sécurité. L'ouverture de ce modèle change l'industrie en offrant aux chercheurs un objet public à étudier, en proposant aux entreprises une option de déploiement privé, et en intensifiant la concurrence entre l'open source et le propriétaire. Sand.ai, fondée par Cao Yue, co-auteur du transformateur Swin, poursuit sa voie non conventionnelle, et son travail a été salué par Kai-Fu Lee comme le « DeepSeek de la génération vidéo par intelligence artificielle ».