Videopost-tuotanto vaakalaudalla: MiniMax H3 muuttaa käsin piirretyn efektiksi – multimodaalinen koodaushetki saapuu
MiniMax
MiniMax julkaisee ensimmäisen avoimen lähdekoodin videomallinsa H3:n, joka yhdistää editoinnin, typografian, siirtymät, rytmityksen, taustamusiikin ja visuaaliset efektit päästä päähän. Käyttäjät voivat syöttää tekstiä ja saada julkaisuvalmiin videon, jonka oletusresoluutio on 2K. Mallia kehutaan uudeksi SOTA-tasoksi videoeditoinnissa, ja se tukee täysimodaalista syöttöä, mukaan lukien teksti, kuvat, ääni ja video.
MiniMax on virallisesti julkaissut seuraavan sukupolven videomallinsa MiniMax H3:n, joka on myös sen ensimmäinen avoimen lähdekoodin videomalli. H3 rikkoo aiemman paradigman, jossa videomallit tuottivat vain raakaa kuvamateriaalia, integroimalla päätyyn päätyyn editointilogiikan, typografian, siirtymäsuunnittelun, rytminhallinnan, taustamusiikin ja visuaaliset tehosteet. Käyttäjät voivat syöttää tekstiä ja saada valmiin, julkaisuvalmiin videon oletusarvoisesti 2K-resoluutiolla. Malli on saanut hyvän vastaanoton ulkomaisilta kehittäjiltä ja nousi Artificial Analysis -listan kärkeen videoeditoinnissa. Kirjoittaja testasi H3:sta ja huomasi sen reagoivan erittäin hyvin käyttäjän tarkoituksiin, jopa seuraavan monimutkaisia monikuvausohjeita tarkasti. H3 osoittaa myös merkittävää parannusta tekstin tuottamisessa videoissa, mikä on ollut yleinen heikkous tekoälyvideomalleille. Se pystyy tuottamaan tekstiä, joka pysyy johdonmukaisena kuvien välillä, ja jopa ymmärtää tekstin ja visuaalisen sisällön välisen suhteen. Lisäksi H3 voi ottaa äänileikkeen syötteenä dialogia varten, ja ääni synkronoituu visuaalisen ilmeen tunteeseen ja rytmiin hyödyntäen MiniMaxin asiantuntemusta multimodaalisissa äänimalleissa. Hinta on alhainen, ja hinta sekunnilta 2K-resoluutiolla on alle kolmasosan valtavirran malleista. H3 tukee täyttä multimodaalista syöttöä, mikä tarkoittaa, että kaikki mediatyypit ovat osa mallin kontekstia. Se käyttää räätälöityä kuvatekstimallia ja H3-Omni Transformer -arkkitehtuuria tehokkaaseen multimodaaliseen käsittelyyn. MiniMaxin lähestymistapa perustuu multimodaalisuuden ja kielen emergenssiin, yhdistäen eristetyt modaliteetit kielen kautta. H3:n avoimen lähdekoodin luonne mahdollistaa yrityksille mallin yksityisen käyttöönoton ja hienosäädön räätälöityjä sisältötyönkulkuja varten, mikä voi johtaa IP-vitaliteetin räjähdykseen. MiniMaxillä on historia avoimen lähdekoodin mallien julkaisemisessa M2-sarjasta aina nykyiseen H3:een asti, mikä on linjassa sen vision kanssa 'Älykkyys kaikille'. Julkaisu merkitsee videogeneraation siirtymistä 'koodaushetkeen', jossa siitä tulee kaupallisesti kannattava tuotantotyökalu.
Lähde: QbitAI 量子位 —
Alkuperäinen