KI-Workloads auf jeder Cloud mit Hugging Face Storage ausführen: Keine Egress-Gebühren dank SkyPilot

Hugging Face hat zusammen mit dem Projekt SkyPilot eine Integration vorgestellt, die es ermöglicht, Modelle und Datensätze im Hugging Face Hub zu speichern und Rechenaufgaben (Training, Feintuning, Inferenz) über SkyPilot in jeder Cloud oder auf jedem Cluster auszuführen. Für den Zugriff auf die Daten wird das Schema „hf://“ verwendet, wobei das Lesen der Daten nicht mit Egress-Gebühren belastet wird: Hugging Face Storage erhebt keine Gebühren für ausgehenden Traffic und das Content Delivery Network. Dadurch wird vermieden, dass Daten bei jedem Cloud-Anbieter dupliziert werden und die damit verbundenen Kosten anfallen. Grundlage des Speichers ist die Xet-Technologie mit inhaltsbasierter Deduplizierung: Bei inkrementellen Checkpoints werden nur die geänderten Fragmente übertragen. Die Integration unterstützt sowohl das Einhängen (Mount) über FUSE als auch das Kopieren (Copy). Zur Authentifizierung wird der HF_TOKEN verwendet. In einem Benchmark zum Feintuning von Qwen/Qwen3.5-4B auf Amazon Web Services, Google Cloud Platform und Lambda wurde das Modell in etwa 30 Sekunden geladen, Checkpoints wurden mit einer Geschwindigkeit von 112 bis 168 Megabyte pro Sekunde geschrieben. Die Lösung ist vollständig quelloffen: SkyPilot, hf-mount und huggingface_hub sind Open Source.