Запускайте ИИ-нагрузки на любом облаке с хранением на Hugging Face: нулевой егресс при помощи SkyPilot
Hugging Face
Hugging Face и SkyPilot объединили усилия, позволяя хранить модели и датасеты на Hugging Face Hub, а вычислительные задачи выполнять на любом облаке или кластере. Новая интеграция через схему hf:// обеспечивает монтирование данных без платы за егресс при чтении, что упрощает использование GPU у разных провайдеров без дублирования данных.
Hugging Face совместно с проектом SkyPilot представили интеграцию, которая позволяет хранить модели и датасеты на Hugging Face Hub, а вычислительные задачи (обучение, дообучение, инференс) запускать на любом облаке или кластере через SkyPilot. Для подключения данных используется схема hf://, при этом чтение данных не облагается платой за егресс: Hugging Face Storage не взимает плату за исходящий
Показать ещё ↓
- Сокращения
- FUSE = Filesystem in Userspace — файловая система в пользовательском пространстве
- GPU = Graphics Processing Unit — графический процессор
- CDN = Content Delivery Network — сеть доставки контента
- S3 = Simple Storage Service — простой сервис хранения (Amazon S3)
- GCS = Google Cloud Storage — облачное хранилище Google
- AWS = Amazon Web Services — облачные сервисы Amazon
- GCP = Google Cloud Platform — облачная платформа Google
Источник: Hugging Face blog —
оригинал