Suorita AI-työkuormia millä tahansa pilvipalvelulla Hugging Face -tallennustilan avulla: nolla egress-maksua SkyPilotin kautta

Hugging Face ja SkyPilot ovat yhdessä ilmoittaneet uudesta integraatiosta, jonka avulla tekoälytyökuormia voidaan ajaa millä tahansa pilvialustalla pitäen data Hugging Face Storagessa ilman egress-kustannuksia. Käyttäjät voivat liittää Hugging Face Bucketin (luku-kirjoitus) tai minkä tahansa malli-/dataset-/Space-repon (vain luku) SkyPilot-tehtävään käyttämällä yhtä hf://-URL-osoitetta ja olemassa olevaa HF_TOKEN-tunnustaan. Tehtävä voidaan sitten käynnistää millä tahansa GPU-klusterilla yli 20 pilvialustan, Kubernetesin, Slurmin tai paikallisen infrastruktuurin välillä. Hugging Face ei veloita egress- tai CDN-maksuja datan lukemisesta, joten mallien ja datasettien lukeminen samasta bucketista on ilmaista riippumatta siitä, missä GPU:t sijaitsevat. Liitos käyttää Hugging Facen hf-mount FUSE-taustajärjestelmää laiskoihin lukuihin, mikä tarkoittaa, että vain koodin koskemat tavut ylittävät verkon, ja levyvälimuisti pitää toistuvat luvut paikallisina. Tarkistuspistekirjoitukset menevät suoraan buckettiin jopa noin 170 megatavun sekuntinopeudella. Xet-pohjainen tallennus tarjoaa sisällönmukaisen deduplikoinnin, joten inkrementaaliset tarkistuspisteet, adapteripainot ja mallivariantit tallentavat ja siirtävät vain muuttuneet palat, mikä vähentää lähetysaikaa ja tallennuskustannuksia. Autentikointi käyttää samaa HF_TOKEN-tunnusta kaikilla pilvialustoilla, mikä poistaa tarpeen pilvikohtaisille bucket-avaimille. Vertailutestissä, jossa hienosäädettiin Qwen/Qwen3.5-4B-mallia AWS:ssä, GCP:ssä ja Lambdassa, malli ladattiin koulutusvalmiiksi noin 30 sekunnissa ilman egress-kustannuksia. Integraatio on avoimen lähdekoodin ja saatavilla komennolla pip install skypilot[huggingface].