Sand.ai julkaisee maailman ensimmäisen 100 miljardin parametrin MoE-videogenerointimallin avoimena lähdekoodina: 114 miljardia parametria, 6 miljardia aktivoituu

Tsinghuan yliopistoon linkittyvä tiimi Sand.ai on julkaissut avoimen lähdekoodin MAGI-2-preview-mallin, joka on ensimmäinen avoimen lähdekoodin videogenerointimalli, jossa on sata miljardia parametria ja joka käyttää Mixture-of-Experts (MoE) -arkkitehtuuria. Mallissa on yhteensä 114 miljardia parametria, mutta vain noin 6 miljardia aktivoituu jokaista päättelykertaa kohden, mikä vähentää kustannuksia huomattavasti. Nykyisen kahdeksan H100-näytön kortin hinnoittelun mukaan 10 sekunnin 1080p-videon tuottaminen maksaa vain 0,5 yuania, mikä on noin kymmenesosa valtavirran mallien kustannuksista. MAGI-2-preview sijoittuu kuudenneksi AA-videogenerointivertailussa, ja sen suorituskyky on lähellä huippumalleja huolimatta vain 6 miljardista aktivoidusta parametrista. Malli käyttää yksivaiheista arkkitehtuuria, jossa teksti-, video- ja äänitokenit käsitellään yhdessä yhtenäisessä Transformerissa, mikä mahdollistaa paremman audio-visuaalisen synkronoinnin. Se hyödyntää Multi-Head LatentMoE -menetelmää, joka jakaa 3072-ulotteisen piilorepresentaation 12 päähaarukkaan, joista kukin on 256 ulottuvuutta, ja reititys tapahtuu itsenäisesti jokaisessa päähaarukassa, jolloin jokainen token voi aktivoida 72 pientä asiantuntijaa 36 kerroksessa, yhteensä 3072 asiantuntijaa joka kerroksessa. Sand.ai kehitti räätälöidyn MagiMoE-ydinkirjaston ja Head Parallel -strategian optimoidakseen viestinnän ja laskennan pitkille sekvensseille, käyttäen Muonia matriisiparametreille ja AdamW: tä asiantuntijaparametreille. Datastrategiassa keskitytään monipuolisen datan järjestämiseen suodattamisen sijaan, ja koulutus jaetaan esikoulutukseen laajan kattavuuden saavuttamiseksi sekä jälkikoulutukseen yhdenmukaistamiseksi ja turvallisuuden varmistamiseksi. Tämän mallin avoimen lähdekoodin julkaiseminen muuttaa toimialaa tarjoamalla tutkijoille julkisen tutkimuskohteen, yrityksille yksityisen käyttöönoton vaihtoehdon ja voimistaen avoimen ja suljetun lähdekoodin välistä kilpailua. Sand.ai, jonka perusti Cao Yue, Swin Transformerin toinen kirjoittaja, jatkaa epätavanomaista polkuaan, ja sen työtä on kehunut Kai-Fu Lee kutsumalla sitä 'tekoälyvideogeneroinnin DeepSeekiksi'.