Exécutez des charges de travail IA sur n'importe quel cloud avec le stockage Hugging Face : zéro frais de sortie grâce à SkyPilot

Hugging Face, en collaboration avec le projet SkyPilot, a présenté une intégration qui permet de stocker les modèles et jeux de données sur le Hugging Face Hub, et de lancer des tâches de calcul (entraînement, fine-tuning, inférence) sur n'importe quel cloud ou cluster via SkyPilot. Pour connecter les données, on utilise le schéma hf://, et la lecture des données n'est pas facturée pour le trafic sortant : le stockage Hugging Face ne facture pas le trafic sortant et le CDN. Cela évite la duplication des données chez chaque fournisseur cloud et les coûts associés. Le stockage repose sur la technologie Xet avec déduplication au niveau du contenu : lors des points de contrôle incrémentaux, seuls les fragments modifiés sont transmis. L'intégration prend en charge à la fois le montage (MOUNT) via FUSE et la copie (COPY). Pour l'authentification, on utilise HF_TOKEN. Dans un benchmark sur le fine-tuning de Qwen/Qwen3.5-4B sur AWS, GCP et Lambda, le modèle a été chargé en ~30 secondes, et les points de contrôle ont été enregistrés à des vitesses allant de 112 à 168 Mo/s. La solution est entièrement ouverte : SkyPilot, hf-mount et huggingface_hub sont open source.