使用 Hugging Face 存储在任何云上运行 AI 工作负载：通过 SkyPilot 实现零出站流量

Hugging Face совместно с проектом SkyPilot представили интеграцию, которая позволяет хранить модели и датасеты на Hugging Face Hub, а вычислительные задачи (обучение, дообучение, инференс) запускать на любом облаке или кластере через SkyPilot. Для подключения данных используется схема hf://, при этом чтение данных не облагается платой за егресс: Hugging Face Storage не взимает плату за исходящий трафик и CDN. Это позволяет избежать дублирования данных у каждого облачного провайдера и связанных с этим затрат. В основе хранилища лежит технология Xet с дедупликацией на уровне контента: при инкрементальных чекпоинтах передаются только изменившиеся фрагменты. Интеграция поддерживает как монтирование (MOUNT) через FUSE, так и копирование (COPY). Для аутентификации используется HF_TOKEN. В бенчмарке на дообучении Qwen/Qwen3.5-4B на AWS, GCP и Lambda модель загружалась за ~30 секунд, чекпоинты записывались со скоростью от 112 до 168 МБ/с. Решение полностью открыто: SkyPilot, hf-mount и huggingface_hub — open source.