Run AI Workloads on Any Cloud with Hugging Face Storage: Zero Egress via SkyPilot

Hugging Face bersama proyek SkyPilot meluncurkan integrasi yang memungkinkan penyimpanan model dan himpunan data di Hugging Face Hub, sementara tugas komputasi (pelatihan, penyesuaian lebih lanjut, inferensi) dijalankan di cloud atau klaster mana pun melalui SkyPilot. Untuk menghubungkan data, digunakan skema hf://, di mana pembacaan data tidak dikenakan biaya egress: Hugging Face Storage tidak memungut biaya untuk lalu lintas keluar dan CDN. Ini menghindari duplikasi data di setiap penyedia cloud dan biaya terkait. Penyimpanan didasarkan pada teknologi Xet dengan deduplikasi tingkat konten: pada pos pemeriksaan inkremental, hanya fragmen yang berubah yang ditransfer. Integrasi mendukung baik pemasangan melalui FUSE maupun penyalinan. Untuk autentikasi, digunakan HF_TOKEN. Dalam tolok ukur penyesuaian lebih lanjut Qwen/Qwen3.5-4B di AWS, GCP, dan Lambda, model dimuat dalam ~30 detik, pos pemeriksaan ditulis dengan kecepatan 112 hingga 168 MB/s. Solusi ini sepenuhnya terbuka: SkyPilot, hf-mount, dan huggingface_hub bersifat sumber terbuka.