Execute Cargas de Trabalho de IA em Qualquer Nuvem com o Armazenamento do Hugging Face: Zero Egress via SkyPilot

O Hugging Face, em parceria com o projeto SkyPilot, apresentou uma integração que permite armazenar modelos e conjuntos de dados no Hugging Face Hub e executar tarefas computacionais (treinamento, ajuste fino, inferência) em qualquer nuvem ou cluster por meio do SkyPilot. Para acessar os dados, utiliza-se o esquema hf://, e a leitura dos dados não é cobrada por egresso: o Hugging Face Storage não cobra pelo tráfego de saída e pela rede de distribuição de conteúdo (CDN). Isso evita a duplicação de dados em cada provedor de nuvem e os custos associados. O armazenamento é baseado na tecnologia Xet, com desduplicação no nível de conteúdo: em checkpoints incrementais, apenas os fragmentos alterados são transferidos. A integração suporta tanto montagem (MOUNT) via FUSE quanto cópia (COPY). Para autenticação, utiliza-se o HF_TOKEN. Em um benchmark de ajuste fino do Qwen/Qwen3.5-4B na AWS, GCP e Lambda, o modelo foi carregado em aproximadamente 30 segundos, e os checkpoints foram gravados a velocidades entre 112 e 168 MB/s. A solução é totalmente aberta: SkyPilot, hf-mount e huggingface_hub são de código aberto.