Sand.ai brengt 's werelds eerste open-source video-generatiemodel met 100B parameters uit: 114B parameters, 6B geactiveerd

Sand.ai, een team verbonden aan Tsinghua, heeft MAGI-2-preview open-source gemaakt, het eerste open-source videogeneratiemodel met honderd miljard parameters dat gebruikmaakt van Mixture-of-Experts (MoE). Het model heeft in totaal 114 miljard parameters, maar activeert er slechts ongeveer 6 miljard per inferentie, waardoor de kosten drastisch dalen. Volgens de huidige prijzen voor 8 H100-kaarten kost het genereren van een 10 seconden durende 1080p-video slechts 0,5 yuan, ongeveer een tiende van wat gangbare modellen kosten. MAGI-2-preview staat op de zesde plaats op de AA-videogeneratiebenchmark, met prestaties die dicht bij de topmodellen liggen, ondanks slechts 6 miljard geactiveerde parameters. Het model gebruikt een single-stream architectuur waarin tekst-, video- en audiotokens samen in een uniforme Transformer worden verwerkt, wat zorgt voor betere audiovisuele synchronisatie. Het maakt gebruik van Multi-Head LatentMoE, waarbij de 3072-dimensionale hidden representatie wordt opgesplitst in 12 koppen van elk 256 dimensies, met onafhankelijke routing per kop, waardoor elk token 72 kleine experts over 36 lagen activeert, met in totaal 3072 experts per laag. Sand.ai heeft een eigen MagiMoE-kernelbibliotheek en een Head Parallel-strategie ontwikkeld om communicatie en berekeningen voor lange sequenties te optimaliseren, met Muon voor matrixparameters en AdamW voor expertparameters. De datastrategie richt zich op het organiseren van diverse data in plaats van het filteren ervan, en de training is opgesplitst in pre-training voor brede dekking en post-training voor afstemming en veiligheid. Het open-sourcen van dit model verandert de industrie door onderzoekers een publiek object te bieden om te bestuderen, bedrijven een optie voor private implementatie te geven en de concurrentie tussen open en gesloten systemen te intensiveren. Sand.ai, opgericht door Cao Yue, co-auteur van Swin Transformer, blijft zijn onconventionele pad volgen, en het werk ervan is door Kai-Fu Lee geprezen als de 'DeepSeek van AI-videogeneratie'.