Sand.ai mã nguồn mở mô hình sinh video MoE 100 tỷ tham số đầu tiên thế giới: 114B tham số, kích hoạt 6B

Sand.ai, một đội ngũ liên kết với Đại học Thanh Hoa, đã công bố mã nguồn mở MAGI-2-preview, mô hình tạo video nguồn mở đầu tiên có hàng trăm tỷ tham số sử dụng kỹ thuật Mixture-of-Experts (MoE). Mô hình có tổng cộng 114 tỷ tham số nhưng chỉ kích hoạt khoảng 6 tỷ mỗi lần suy luận, giảm đáng kể chi phí. Theo định giá hiện tại của 8 thẻ H100, tạo một video 10 giây 1080p chỉ tốn 0,5 nhân dân tệ, khoảng một phần mười so với các mô hình chính thống. MAGI-2-preview xếp thứ sáu trên bảng xếp hạng tạo video AA, với hiệu suất gần với các mô hình hàng đầu dù chỉ có 6 tỷ tham số kích hoạt. Mô hình sử dụng kiến trúc đơn luồng, trong đó các token văn bản, video và âm thanh được xử lý cùng nhau trong một Transformer thống nhất, cho phép đồng bộ hóa nghe nhìn tốt hơn. Nó sử dụng Multi-Head Latent MoE, chia biểu diễn ẩn 3072 chiều thành 12 đầu, mỗi đầu 256 chiều, với định tuyến độc lập cho mỗi đầu, cho phép mỗi token kích hoạt 72 chuyên gia nhỏ trên 36 lớp, tổng cộng 3072 chuyên gia mỗi lớp. Sand.ai đã phát triển thư viện kernel MagiMoE tùy chỉnh và chiến lược Head Parallel để tối ưu hóa truyền thông và tính toán cho chuỗi dài, sử dụng Muon cho tham số ma trận và AdamW cho tham số chuyên gia. Chiến lược dữ liệu tập trung vào việc tổ chức dữ liệu đa dạng thay vì lọc bỏ, và việc đào tạo được chia thành tiền huấn luyện để bao phủ rộng rãi và hậu huấn luyện để căn chỉnh và an toàn. Việc mã nguồn mở mô hình này thay đổi ngành công nghiệp bằng cách cung cấp cho các nhà nghiên cứu một đối tượng công khai để nghiên cứu, cho doanh nghiệp tùy chọn triển khai riêng tư, và tăng cường cạnh tranh giữa nguồn mở và đóng. Sand.ai, do Cao Yue, đồng tác giả của Swin Transformer, sáng lập, tiếp tục con đường phi truyền thống của mình, và công trình của họ đã được Kai-Fu Lee ca ngợi là 'DeepSeek của tạo video AI'.