Chạy Khối Lượng Công Việc AI Trên Bất Kỳ Đám Mây Nào Với Bộ Nhớ Hugging Face: Zero-Egress Qua SkyPilot

Hugging Face và SkyPilot vừa cùng công bố một tích hợp mới cho phép chạy các khối lượng công việc AI trên bất kỳ đám mây nào trong khi vẫn giữ dữ liệu trên Hugging Face Storage với chi phí xuất bằng không. Người dùng có thể gắn một Hugging Face Bucket (đọc-ghi) hoặc bất kỳ kho lưu trữ mô hình/dataset/Space nào (chỉ đọc) vào một tác vụ SkyPilot bằng cách sử dụng một URL hf:// duy nhất và HF_TOKEN hiện có của họ. Công việc sau đó có thể được khởi chạy trên bất kỳ cụm GPU nào trên hơn 20 đám mây, Kubernetes, Slurm hoặc cơ sở hạ tầng tại chỗ. Hugging Face không tính phí xuất hoặc CDN cho việc đọc dữ liệu, vì vậy việc đọc các mô hình và bộ dữ liệu từ cùng một bucket là miễn phí bất kể GPU chạy ở đâu. Việc gắn kết sử dụng phần phụ trợ FUSE hf-mount của Hugging Face để đọc lười, nghĩa là chỉ những byte thực sự được mã chạm đến mới truyền qua mạng, và bộ nhớ đệm trên đĩa giữ cho các lần đọc lặp lại là cục bộ. Các bản ghi checkpoint được ghi trực tiếp vào bucket với tốc độ lên tới khoảng 170 MB/s. Bộ nhớ dựa trên Xet cung cấp tính năng khử trùng lặp theo nội dung, do đó các checkpoint gia tăng, trọng số adapter và biến thể mô hình chỉ lưu trữ và truyền các khối đã thay đổi, giảm thời gian tải lên và chi phí lưu trữ. Xác thực sử dụng cùng một HF_TOKEN trên tất cả các đám mây, loại bỏ các khóa bucket riêng lẻ cho từng đám mây. Một điểm chuẩn tinh chỉnh Qwen/Qwen3.5-4B trên AWS, GCP và Lambda cho thấy mô hình được tải sẵn sàng để huấn luyện trong khoảng 30 giây với chi phí xuất bằng không. Tích hợp này là mã nguồn mở và có sẵn qua pip install skypilot[huggingface].