허깅 페이스 스토리지와 SkyPilot으로 모든 클라우드에서 AI 워크로드 실행: 제로 이그레스

Hugging Face와 SkyPilot가 새로운 통합 기능을 공동 발표했습니다. 이 통합을 통해 AI 워크로드를 모든 클라우드에서 실행하면서도 데이터는 Hugging Face Storage에 유지하고, 이그레스 비용 없이 사용할 수 있습니다. 사용자는 단일 hf:// URL과 기존의 HF_TOKEN을 사용하여 Hugging Face Bucket(읽기-쓰기 가능)이나 모든 모델/데이터셋/스페이스 저장소(읽기 전용)를 SkyPilot 태스크에 마운트할 수 있습니다. 이후 작업은 20개 이상의 클라우드, 쿠버네티스, Slurm 또는 온프레미스 인프라에 걸쳐 모든 GPU 클러스터에서 실행할 수 있습니다. Hugging Face는 데이터 읽기에 대해 이그레스 또는 CDN 요금을 부과하지 않으므로, 동일한 버킷에서 모델과 데이터셋을 읽는 것은 GPU가 어디에서 실행되든 무료입니다. 마운트는 Hugging Face의 hf-mount FUSE 백엔드를 사용하여 지연 읽기를 수행하므로, 코드가 실제로 접근하는 바이트만 네트워크를 통해 전송되며, 온디스크 캐시는 반복 읽기를 로컬에서 처리합니다. 체크포인트 쓰기는 최대 약 170MB/s의 속도로 버킷에 직접 이루어집니다. Xet 기반 스토리지는 콘텐츠 기반 중복 제거를 제공하므로, 증분 체크포인트, 어댑터 가중치 및 모델 변형은 변경된 청크만 저장 및 전송하여 업로드 시간과 스토리지 비용을 절감합니다. 인증은 모든 클라우드에서 동일한 HF_TOKEN을 사용하므로, 클라우드별 버킷 키가 필요 없습니다. AWS, GCP 및 Lambda에서 Qwen/Qwen3.5-4B를 미세 조정하는 벤치마크 결과, 모델이 약 30초 만에 학습 준비 상태로 로드되었으며 이그레스 비용이 전혀 발생하지 않았습니다. 이 통합은 오픈 소스이며 pip install skypilot[huggingface]를 통해 사용할 수 있습니다.