Hugging Face और Microsoft Foundry: प्रबंधित GPU पर ओपन मॉडल

हगिंग फेस और माइक्रोसॉफ्ट फाउंड्री ने एक सहयोग शुरू किया है जिसके तहत हगिंग फेस इकोसिस्टम के ओपन-वेट मॉडल फाउंड्री प्लेटफॉर्म पर होस्ट किए जाएंगे। फाउंड्री एक सेवा के रूप में प्रबंधित जीपीयू कंप्यूट प्रदान करती है। हगिंग फेस कलेक्शन मॉडलों का एक चुनिंदा सेट है जिसे साप्ताहिक रूप से ताज़ा किया जाता है, जिसमें टेक्स्ट, विज़न, ऑडियो और मल्टीमॉडल मोडलिटी शामिल हैं। सभी मॉडल सुरक्षा जांच से गुजरते हैं और सेफटेंसर्स फॉर्मेट में होते हैं। मॉडल टेम्पलेट्स के माध्यम से तैनात किए जाते हैं जो रनटाइम, एक्सेलेरेटर फैमिली और कॉन्टेक्स्ट लेंथ निर्दिष्ट करते हैं। रनटाइम में वीएलएलएम, एसजीलैंग, टेंसरआरटी-एलएलएम, एनआईएम, टीईआई और लामा.सीपीपी शामिल हैं। क्यूरेशन पाइपलाइन में ट्रेंडिंग मॉडल की पहचान करना, अनुपालन और सुरक्षा जांच करना, रनटाइम इमेज बनाना और स्कैन करना, वेट को एज़्योर स्टोरेज पर अपलोड करना और फाउंड्री मॉडल कैटलॉग में प्रकाशित करने से पहले एपीआई अनुरूपता और प्रदर्शन को मान्य करना शामिल है। तैनाती माइक्रोसॉफ्ट द्वारा प्रबंधित की जाती है, जिसमें स्वचालित कंटेनर अपडेट, रनटाइम अपग्रेड और सुरक्षा पैच शामिल हैं। सेवा वैश्विक और डेटा ज़ोन दोनों में तैनाती का समर्थन करती है, और उसी एजेंट के भीतर ओपन और फ्रंटियर मॉडल को मिलाने की अनुमति देती है। इस साझेदारी का उद्देश्य ओपन मॉडल लचीलेपन और उद्यम संचालन आवश्यकताओं के बीच की खाई को पाटना है।