Run AI Workloads on Any Cloud with Hugging Face Storage: Zero Egress via SkyPilot

Hugging Face hợp tác với dự án SkyPilot giới thiệu tích hợp cho phép lưu trữ mô hình và tập dữ liệu trên Hugging Face Hub, đồng thời chạy các tác vụ tính toán (huấn luyện, tinh chỉnh, suy luận) trên bất kỳ đám mây hoặc cụm máy nào thông qua SkyPilot. Để kết nối dữ liệu, sử dụng lược đồ hf://, trong đó việc đọc dữ liệu không bị tính phí xuất: Bộ nhớ Hugging Face không thu phí lưu lượng ra ngoài và CDN (Mạng phân phối nội dung). Điều này giúp tránh sao chép dữ liệu dư thừa tại mỗi nhà cung cấp đám mây và các chi phí liên quan. Nền tảng lưu trữ dựa trên công nghệ Xet với khả năng khử trùng lặp ở cấp độ nội dung: khi lưu điểm kiểm tra gia tăng, chỉ các phần đã thay đổi mới được truyền đi. Tích hợp hỗ trợ cả chế độ gắn kết qua FUSE và sao chép. Xác thực sử dụng HF_TOKEN. Trong bài kiểm tra hiệu năng tinh chỉnh Qwen/Qwen3.5-4B trên AWS (Amazon Web Services), GCP (Google Cloud Platform) và Lambda, mô hình được tải trong khoảng 30 giây, điểm kiểm tra được ghi với tốc độ từ 112 đến 168 MB/s. Giải pháp hoàn toàn mã nguồn mở: SkyPilot, hf-mount và huggingface_hub đều là phần mềm nguồn mở.