SkyPilot के साथ किसी भी क्लाउड पर चलाएं AI वर्कलोड, Hugging Face स्टोरेज के साथ जीरो-एग्रेस

Hugging Face और SkyPilot ने संयुक्त रूप से एक नए इंटीग्रेशन की घोषणा की है जो AI वर्कलोड को किसी भी क्लाउड पर चलाने की अनुमति देता है, जबकि डेटा Hugging Face स्टोरेज पर शून्य एग्रेस लागत पर रहता है। उपयोगकर्ता एकल hf:// URL और अपने मौजूदा HF_TOKEN का उपयोग करके Hugging Face बकेट (रीड-राइट) या किसी भी मॉडल/डेटासेट/स्पेस रेपो (रीड-ओनली) को SkyPilot टास्क में माउंट कर सकते हैं। फिर जॉब को 20+ क्लाउड, Kubernetes, Slurm, या ऑन-प्रिम इंफ्रास्ट्रक्चर में किसी भी GPU क्लस्टर पर लॉन्च किया जा सकता है। Hugging Face डेटा पढ़ने के लिए कोई एग्रेस या CDN शुल्क नहीं लेता है, इसलिए उसी बकेट से मॉडल और डेटासेट पढ़ना मुफ़्त है, चाहे GPU कहीं भी चलें। माउंट लेज़ी रीड्स के लिए Hugging Face के hf-mount FUSE बैकएंड का उपयोग करता है, जिसका अर्थ है कि केवल वे बाइट्स जो कोड द्वारा छूए जाते हैं, नेटवर्क पार करते हैं, और एक ऑन-डिस्क कैश बार-बार पढ़ने को स्थानीय रखता है। चेकपॉइंट राइट्स सीधे बकेट में लगभग ~170 MB/s की गति से जाते हैं। Xet-समर्थित स्टोरेज कंटेंट-परिभाषित डिडप्लीकेशन प्रदान करता है, इसलिए इंक्रीमेंटल चेकपॉइंट्स, एडॉप्टर वेट और मॉडल वैरिएंट केवल बदले हुए चंक्स को स्टोर और ट्रांसफर करते हैं, जिससे अपलोड समय और स्टोरेज लागत कम होती है। प्रमाणीकरण सभी क्लाउड में समान HF_TOKEN का उपयोग करता है, जिससे प्रति-क्लाउड बकेट कुंजियाँ समाप्त हो जाती हैं। AWS, GCP और Lambda पर Qwen/Qwen3.5-4B को फाइन-ट्यून करने वाले एक बेंचमार्क ने दिखाया कि मॉडल शून्य एग्रेस लागत पर लगभग 30 सेकंड में प्रशिक्षण के लिए तैयार लोड हुआ। यह इंटीग्रेशन ओपन सोर्स है और pip install skypilot[huggingface] के माध्यम से उपलब्ध है।