Draai AI-workloads op elke cloud met Hugging Face-opslag: nul egress via SkyPilot

Hugging Face en het project SkyPilot hebben een integratie gepresenteerd waarmee modellen en datasets kunnen worden opgeslagen op Hugging Face Hub, terwijl rekentaken (training, finetuning, inferentie) op elke cloud of cluster kunnen worden uitgevoerd via SkyPilot. Voor het koppelen van gegevens wordt het schema hf:// gebruikt, waarbij het lezen van gegevens geen egresskosten met zich meebrengt: Hugging Face Storage brengt geen kosten in rekening voor uitgaand verkeer en CDN. Dit voorkomt duplicatie van gegevens bij elke cloudprovider en de daarmee gepaard gaande kosten. De opslag is gebaseerd op Xet-technologie met deduplicatie op inhoudsniveau: bij incrementele checkpoints worden alleen de gewijzigde fragmenten overgedragen. De integratie ondersteunt zowel mounten (MOUNT) via FUSE als kopiëren (COPY). Voor authenticatie wordt HF_TOKEN gebruikt. In een benchmark voor finetuning van Qwen/Qwen3.5-4B op AWS, GCP en Lambda werd het model in ongeveer 30 seconden geladen, en checkpoints werden geschreven met snelheden van 112 tot 168 MB/s. De oplossing is volledig open source: SkyPilot, hf-mount en huggingface_hub zijn open source.