Hugging Face Depolama ile Her Bulutta Yapay Zeka İş Yüklerini Çalıştırın: SkyPilot ile Sıfır Çıkış Ücreti

Hugging Face ve SkyPilot, yapay zeka iş yüklerinin herhangi bir bulutta çalıştırılmasına olanak tanırken, verilerin sıfır çıkış ücretiyle Hugging Face Depolama'da kalmasını sağlayan yeni bir entegrasyonu duyurdu. Kullanıcılar, mevcut HF_TOKEN'ları ve tek bir hf:// URL'si kullanarak bir Hugging Face Kovasını (okuma-yazma) veya herhangi bir model/veri kümesi/Space deposunu (salt okunur) bir SkyPilot görevine bağlayabilir. Ardından iş, 20'den fazla bulut, Kubernetes, Slurm veya şirket içi altyapı genelindeki herhangi bir GPU kümesinde başlatılabilir. Hugging Face, veri okuma için herhangi bir çıkış veya İçerik Dağıtım Ağı ücreti almaz; bu nedenle, aynı kovadan model ve veri kümelerini okumak, GPU'lar nerede çalışırsa çalışsın ücretsizdir. Bağlama işlemi, tembel okumalar için Hugging Face'in hf-mount FUSE arka ucunu kullanır; bu, yalnızca kod tarafından gerçekten erişilen baytların ağ üzerinden geçtiği ve tekrarlanan okumaların yerel kalmasını sağlayan bir disk önbelleği olduğu anlamına gelir. Kontrol noktası yazmaları, saniyede yaklaşık 170 MB'a varan hızlarla doğrudan kovaya gider. Xet destekli depolama, içerik tanımlı yineleme önleme sağlar; böylece artımlı kontrol noktaları, bağdaştırıcı ağırlıkları ve model varyantları yalnızca değişen parçaları depolar ve aktarır, bu da yükleme süresini ve depolama maliyetlerini azaltır. Kimlik doğrulama, tüm bulutlarda aynı HF_TOKEN'u kullanır ve böylece bulut başına kova anahtarları gereksinimini ortadan kaldırır. AWS, GCP ve Lambda'da Qwen/Qwen3.5-4B'nin ince ayarını yapan bir kıyaslama, modelin sıfır çıkış maliyetiyle yaklaşık 30 saniyede eğitime hazır hale geldiğini gösterdi. Entegrasyon açık kaynaktır ve pip install skypilot[huggingface] ile kullanılabilir.