AI बुनियादी ढांचे के सामने नई चुनौतियाँ: मॉडल बढ़ रहे हैं, विषम कंप्यूटिंग और एजेंट जटिलता क्षेत्र को नया रूप दे रहे हैं
Huawei
4Paradigm (Fourth Paradigm)
DeepSeek
Alibaba/Qwen
Cosmos (NVIDIA)
Google/DeepMind
Meta
Anthropic
जैसे-जैसे AI मॉडल आर्किटेक्चर अधिक जटिल और विविध होते जा रहे हैं, AI बुनियादी ढांचे को विषम कंप्यूटिंग, बहु-मॉडल पाइपलाइनों और बढ़ती एजेंट-संचालित कार्यभार के अनुकूल होना होगा। Huawei, Inferact vLLM और 4Paradigm के विशेषज्ञ प्रमुख चुनौतियों पर चर्चा करते हैं: विविध AI त्वरक (NVIDIA, Ascend, Cambricon, आदि) का प्रबंधन, बहु-विधि अनुमान को अनुकूलित करना, और कैसे AI अंततः बुनियादी ढांचे के प्रबंधन को स्वचालित कर सकता है, इंजीनियरों को कार्यान्वयन से योजना और सेवा-स्तर समझौते (SLA) परिभाषा की ओर स्थानांतरित कर सकता है।
हाल ही में InfoQ की एक लाइव चर्चा में, Huawei AI ओपन-सोर्स इकोलॉजी निदेशक हुआंग ज़िपेंग ने Inferact vLLM कमिटर मो ज़िफेंग और 4Paradigm (Fourth Paradigm) सिस्टम आरएंडडी विशेषज्ञ यांग शौरेन को AI बुनियादी ढांचे के विकास पर विचार-विमर्श के लिए आमंत्रित किया। मो ने कहा कि मॉडल आर्किटेक्चर टूलचेन की तुलना में कहीं अधिक तेजी से विकसित हो रहे हैं, इसके उदाहरण हैं DeepSeek V4 का जटिल MoE और मल्टी-मॉडल मॉडल जो LLaVA से पूर्ण-मॉडल Cosmos V तक विकसित हो रहे हैं। यांग ने घरेलू AI एक्सेलेरेटर (NVIDIA, Ascend, Cambricon, Kunlun, Tianshu, Muxi) के प्रसार के कारण विषम कंप्यूट प्रबंधन की मुख्य चुनौती को उजागर किया, जो स्थिरता की समस्याएं पैदा करता है, जैसे कि किसी विशिष्ट GPU पर किसी आकार का टेंसर आउटपुट विफल हो सकता है। यांग ने GPU वर्चुअलाइजेशन और उपकरणों में साझाकरण के लिए ओपन-सोर्स प्रोजेक्ट HAMi का परिचय दिया, और उन्नत उपकरण प्रबंधन के लिए Kubernetes डायनामिक रिसोर्स अलोकेशन (डीआरए) की सीमाओं पर चर्चा की। समूह ने ओपन-सोर्स समुदायों पर AI एजेंटों के प्रभाव की भी जांच की: एजेंट अब यांत्रिक पुल रिक्वेस्ट कार्यों में मदद करते हैं, लेकिन रिपॉजिटरी में निम्न-गुणवत्ता वाले सबमिशन भी भर देते हैं, जिन्हें कमिटर्स को मैन्युअल रूप से छाँटना पड़ता है। मो ने कार्य/स्कूल ईमेल सत्यापन के माध्यम से 'केवल-मानव' फ़िल्टरिंग रणनीति अपनाने का वर्णन किया। आगे देखते हुए, यांग ने भविष्यवाणी की कि AI धीरे-धीरे बुनियादी ढांचा संचालन संभाल लेगा, जिससे इंजीनियर उच्च-स्तरीय सेवा-स्तर समझौता (service level agreement)/सेवा-स्तर लक्ष्य (service level objective)/लागत डिजाइन पर ध्यान केंद्रित कर सकेंगे, लेकिन ध्यान दिया कि ओपन-सोर्स प्रोजेक्ट्स को व्यापक परीक्षण के माध्यम से गुणवत्ता विश्वास बनाए रखना होगा। मो ने कहा कि प्लेटफ़ॉर्म-प्रकार का सॉफ़्टवेयर आवश्यक बना रहेगा क्योंकि शक्तिशाली एजेंटों को भी इकोसिस्टम के सामूहिक अनुकूलन से लाभ होता है, और 'मैथ्यू प्रभाव' vLLM जैसे अच्छी तरह से बनाए रखे गए प्रोजेक्ट्स के आसपास उपयोग को केंद्रित करेगा। बातचीत असमर्थित हार्डवेयर ऑपरेटरों को संभालने की व्यावहारिक सलाह के साथ समाप्त हुई: विक्रेता सहायता, सीपीयू ऑफलोड, या एजेंटों का उपयोग करके पुनरावृत्त प्रोफाइलिंग, हालांकि किनारे के मामले के बग पकड़ना मुश्किल बना हुआ है।
स्रोत: InfoQ 中国 —
मूल