Sand.ai, 세계 최초 1,000억 매개변수 MoE 영상 생성 모델 오픈소스: 총 1,140억, 60억 활성화

칭화대학교 계열 팀인 Sand.ai가 MoE(Mixture-of-Experts, 전문가 혼합) 방식을 적용한 최초의 1000억 파라미터급 오픈소스 영상 생성 모델 MAGI-2-preview를 공개했다. 이 모델은 총 1140억 개의 파라미터를 갖고 있지만 추론 시에는 약 60억 개만 활성화되어 비용을 대폭 절감한다. 현재 8장짜리 H100 카드 기준 가격으로 계산하면 10초 분량의 1080p 영상 한 편을 생성하는 데 드는 비용은 단 0.5위안으로, 주류 모델의 약 10분의 1 수준이다. MAGI-2-preview는 AA 영상 생성 벤치마크에서 6위를 기록했으며, 활성화 파라미터가 60억 개에 불과함에도 최상위권 모델에 근접한 성능을 보였다. 이 모델은 텍스트, 영상, 오디오 토큰을 하나의 통합 Transformer에서 함께 처리하는 단일 스트림(single-stream) 아키텍처를 채택해 오디오-비주얼 동기화 성능을 향상시켰다. 또한 Multi-Head LatentMoE 기법을 도입해 3072차원의 은닉 표현(hidden representation)을 256차원씩 12개의 헤드로 분할하고, 각 헤드마다 독립적으로 라우팅을 수행함으로써 각 토큰이 36개 레이어에 걸쳐 72개의 소형 전문가(expert)를 활성화할 수 있도록 했으며, 레이어당 총 3072개의 전문가를 두었다. Sand.ai는 긴 시퀀스에 대한 통신과 연산을 최적화하기 위해 자체적인 MagiMoE 커널 라이브러리와 Head Parallel 전략을 개발했으며, 행렬 파라미터에는 Muon을, 전문가 파라미터에는 AdamW를 사용했다. 데이터 전략은 데이터를 걸러내기보다는 다양하게 구성하는 데 초점을 맞췄고, 학습 과정은 폭넓은 커버리지를 위한 사전학습(pre-training)과 정렬 및 안전성을 위한 사후학습(post-training)으로 나뉜다. 이 모델의 오픈소스 공개는 업계에 여러 변화를 가져올 것으로 보인다. 연구자들에게는 공개적으로 연구할 수 있는 대상을 제공하고, 기업들에게는 사설(private) 배포라는 선택지를 제공하며, 오픈소스 진영과 폐쇄형(closed) 진영 간의 경쟁을 한층 심화시킬 전망이다. Swin Transformer의 공동 저자인 Cao Yue가 설립한 Sand.ai는 이번에도 남다른 행보를 이어가고 있으며, 이 회사의 작업은 Kai-Fu Lee(리카이푸)로부터 'AI 영상 생성 분야의 DeepSeek'이라는 찬사를 받았다.