Sand.ai disponibiliza em código aberto o primeiro modelo de geração de vídeo MoE com 100 bilhões de parâmetros: 114B de parâmetros, 6B ativados

A Sand.ai, equipe afiliada à Tsinghua, disponibilizou em código aberto o MAGI-2-preview, o primeiro modelo de geração de vídeo de código aberto com cem bilhões de parâmetros usando Mixture-of-Experts (MoE). O modelo possui 114B de parâmetros totais, mas ativa apenas cerca de 6B por inferência, reduzindo drasticamente os custos. De acordo com o preço atual de 8 placas H100, gerar um vídeo de 10 segundos em 1080p custa apenas 0,5 yuan, cerca de um décimo dos modelos convencionais. O MAGI-2-preview ocupa o sexto lugar no ranking de benchmark de geração de vídeo AA, com desempenho próximo aos modelos de ponta, apesar de ter apenas 6B de parâmetros ativados. O modelo utiliza uma arquitetura de fluxo único, onde tokens de texto, vídeo e áudio são processados juntos em um Transformer unificado, permitindo melhor sincronização audiovisual. Ele emprega Multi-Head LatentMoE, dividindo a representação oculta de 3072 dimensões em 12 cabeças de 256 dimensões cada, com roteamento independente por cabeça, permitindo que cada token ative 72 pequenos especialistas em 36 camadas, totalizando 3072 especialistas por camada. A Sand.ai desenvolveu uma biblioteca de kernels personalizada chamada MagiMoE e uma estratégia Head Parallel para otimizar comunicação e computação para sequências longas, usando Muon para parâmetros de matriz e AdamW para parâmetros de especialistas. A estratégia de dados foca em organizar dados diversos em vez de filtrá-los, e o treinamento é dividido em pré-treinamento para cobertura ampla e pós-treinamento para alinhamento e segurança. Disponibilizar esse modelo em código aberto muda a indústria, fornecendo aos pesquisadores um objeto público de estudo, oferecendo às empresas uma opção de implantação privada e intensificando a competição entre código aberto e fechado. A Sand.ai, fundada por Cao Yue, coautor do Swin Transformer, continua seu caminho não convencional, e seu trabalho foi elogiado por Kai-Fu Lee como o 'DeepSeek da geração de vídeo por IA'.