Sand.ai ने दुनिया का पहला 100B-पैरामीटर MoE वीडियो जनरेशन मॉडल ओपन-सोर्स किया: 114B पैरामीटर, 6B सक्रिय
Sand.ai ने MAGI-2-preview जारी किया है, जो Mixture-of-Experts आर्किटेक्चर का उपयोग करने वाला 100 अरब से अधिक पैरामीटर वाला पहला ओपन-सोर्स वीडियो जनरेशन मॉडल है। इस मॉडल में कुल 114B पैरामीटर हैं लेकिन प्रति फॉरवर्ड पास केवल लगभग 6B सक्रिय होते हैं, जिससे केवल 0.5 युआन की लागत पर 10-सेकंड का 1080p वीडियो जनरेशन संभव है, जो मुख्यधारा के मॉडलों की लागत का लगभग दसवां हिस्सा है। यह AA वीडियो जनरेशन बेंचमार्क पर छठे स्थान पर है, जो न्यूनतम सक्रियण के साथ मजबूत प्रदर्शन दर्शाता है।
सैंड.एआई, सिंघुआ से जुड़ी एक टीम, ने MAGI-2-preview को ओपन-सोर्स किया है, जो मिश्रण-के-विशेषज्ञों (Mixture-of-Experts) का उपयोग करने वाला पहला ओपन-सोर्स वीडियो जनरेशन मॉडल है जिसमें सौ अरब पैरामीटर हैं। मॉडल में कुल 114B पैरामीटर हैं, लेकिन प्रति अनुमान केवल लगभग 6B सक्रिय होते हैं, जिससे लागत में भारी कमी आती है। वर्तमान 8-कार्ड H100 मूल्य निर्धारण के अनुसार, 10-सेकंड 1080p वीडियो बनाने की लागत केवल 0.5 युआन है, जो मुख्यधारा के मॉडलों का लगभग दसवां हिस्सा है। MAGI-2-preview एए वीडियो जनरेशन बेंचमार्क पर छठे स्थान पर है, और केवल 6B सक्रिय पैरामीटर होने के बावजूद इसका प्रदर्शन शीर्ष-स्तरीय मॉडलों के करीब है। मॉडल एकल-स्ट्रीम आर्किटेक्चर का उपयोग करता है जहाँ टेक्स्ट, वीडियो और ऑडियो टोकन एक साथ एकीकृत ट्रांसफॉर्मर में संसाधित होते हैं, जिससे बेहतर ऑडियो-विज़ुअल सिंक्रोनाइज़ेशन संभव होता है। यह मल्टी-हेड लेटेंट मो (Multi-Head LatentMoE) का उपयोग करता है, जो 3072-आयामी छिपी प्रतिनिधित्व को 256 आयामों के 12 सिरों में विभाजित करता है, प्रति सिर स्वतंत्र रूटिंग के साथ, प्रत्येक टोकन को 36 परतों में 72 छोटे विशेषज्ञों को सक्रिय करने की अनुमति देता है, प्रति परत कुल 3072 विशेषज्ञ। सैंड.एआई ने लंबे अनुक्रमों के लिए संचार और गणना को अनुकूलित करने के लिए एक कस्टम MagiMoE कर्नेल लाइब्रेरी और हेड पैरेलल रणनीति विकसित की, मैट्रिक्स पैरामीटर के लिए Muon और विशेषज्ञ पैरामीटर के लिए AdamW का उपयोग करते हुए। डेटा रणनीति फ़िल्टर करने के बजाय विविध डेटा को व्यवस्थित करने पर केंद्रित है, और प्रशिक्षण व्यापक कवरेज के लिए प्री-ट्रेनिंग और संरेखण और सुरक्षा के लिए पोस्ट-ट्रेनिंग में विभाजित है। इस मॉडल को ओपन-सोर्स करने से उद्योग बदल जाता है, शोधकर्ताओं को अध्ययन के लिए एक सार्वजनिक वस्तु प्रदान करके, उद्यमों को एक निजी तैनाती विकल्प प्रदान करके, और खुली-बंद प्रतिस्पर्धा को तेज करके। स्विन ट्रांसफॉर्मर के सह-लेखक काओ यू द्वारा स्थापित सैंड.एआई, अपने अपरंपरागत मार्ग को जारी रखता है, और इसके काम की प्रशंसा काई-फू ली ने 'एआई वीडियो जनरेशन का डीपसीक' के रूप में की है।
स्रोत: QbitAI 量子位 —
मूल