Ejecuta cargas de trabajo de IA en cualquier nube con Hugging Face Storage: Zero-Egress mediante SkyPilot

Hugging Face y SkyPilot han anunciado conjuntamente una nueva integración que permite ejecutar cargas de trabajo de IA en cualquier nube mientras los datos permanecen en Hugging Face Storage con costos de salida cero. Los usuarios pueden montar un Hugging Face Bucket (lectura-escritura) o cualquier repositorio de modelo, conjunto de datos o Space (solo lectura) en una tarea de SkyPilot utilizando una única URL hf:// y su HF_TOKEN existente. El trabajo puede iniciarse en cualquier clúster de GPU en más de 20 nubes, Kubernetes, Slurm o infraestructura local. Hugging Face no cobra tarifas de salida ni de CDN por leer datos, por lo que leer modelos y conjuntos de datos del mismo bucket es gratuito independientemente de dónde se ejecuten las GPU. El montaje usa el backend FUSE hf-mount de Hugging Face para lecturas perezosas, lo que significa que solo los bytes que toca el código cruzan la red, y un caché en disco mantiene locales las lecturas repetidas. Las escrituras de checkpoints van directamente al bucket a velocidades de hasta aproximadamente 170 MB/s. El almacenamiento basado en Xet proporciona deduplicación definida por contenido, por lo que los checkpoints incrementales, los pesos de adaptadores y las variantes de modelo solo almacenan y transfieren los fragmentos modificados, reduciendo el tiempo de carga y los costos de almacenamiento. La autenticación usa el mismo HF_TOKEN en todas las nubes, eliminando la necesidad de claves de bucket por nube. Una evaluación comparativa ajustando Qwen/Qwen3.5-4B en AWS, GCP y Lambda mostró que el modelo se cargó listo para entrenar en aproximadamente 30 segundos con costo de salida cero. La integración es de código abierto y está disponible mediante pip install skypilot[huggingface].