Ejecuta cargas de trabajo de IA en cualquier nube con Hugging Face Storage: Cero egress mediante SkyPilot

Hugging Face, en colaboración con el proyecto SkyPilot, han presentado una integración que permite almacenar modelos y conjuntos de datos en Hugging Face Hub, y ejecutar tareas computacionales (entrenamiento, ajuste fino, inferencia) en cualquier nube o clúster a través de SkyPilot. Para conectar los datos se utiliza el esquema hf://, y la lectura de datos no está sujeta a cargos por salida: Hugging Face Storage no cobra por el tráfico saliente ni por la CDN (Red de Distribución de Contenidos). Esto evita la duplicación de datos en cada proveedor de nube y los costos asociados. El almacenamiento se basa en la tecnología Xet con deduplicación a nivel de contenido: en los puntos de control incrementales solo se transmiten los fragmentos modificados. La integración admite tanto el montaje (MOUNT) a través de FUSE (Sistema de Archivos en el Espacio de Usuario) como la copia (COPY). Para la autenticación se utiliza HF_TOKEN. En una prueba comparativa de ajuste fino de Qwen/Qwen3.5-4B en AWS (Amazon Web Services), GCP (Google Cloud Platform) y Lambda, el modelo se cargó en aproximadamente 30 segundos, y los puntos de control se escribieron a velocidades de entre 112 y 168 MB/s. La solución es completamente abierta: SkyPilot, hf-mount y huggingface_hub son de código abierto.