Hugging Face ストレージで任意のクラウド上にAIワークロードを実行：SkyPilotによるゼロエグレス

Hugging FaceとSkyPilotは、新しい統合を共同で発表しました。これにより、AIワークロードを任意のクラウドで実行しながら、データをHugging Face Storageに保持し、エグレスコストをゼロにできます。ユーザーは、単一のhf://URLと既存のHF_TOKENを使用して、Hugging Face Bucket（読み取り/書き込み可能）または任意のモデル/データセット/スペースリポジトリ（読み取り専用）をSkyPilotタスクにマウントできます。その後、ジョブは20以上のクラウド、Kubernetes、Slurm、またはオンプレミスインフラ上の任意のGPUクラスターで起動できます。Hugging Faceはデータ読み取りに対してエグレス料金やコンテンツ配信ネットワーク（CDN）料金を請求しないため、GPUがどこで実行されていても、同じバケットからモデルやデータセットを読み取るのは無料です。マウントにはHugging Faceのhf-mount FUSEバックエンドを使用してレイジーリードを実現し、コードが実際に触れたバイトのみがネットワーク経由で転送され、オンディスクキャッシュにより繰り返しの読み取りはローカルで行われます。チェックポイントの書き込みはバケットに直接行われ、最大約〜170 MB/sの速度です。Xetベースのストレージはコンテンツ定義の重複排除を提供し、インクリメンタルチェックポイント、アダプター重み、モデルバリアントは変更されたチャンクのみを保存および転送するため、アップロード時間とストレージコストを削減します。認証はすべてのクラウドで同一のHF_TOKENを使用し、クラウドごとのバケットキーを不要にします。AWS、GCP、LambdaでQwen/Qwen3.5-4Bをファインチューニングするベンチマークでは、モデルが約30秒でトレーニング準備が整い、エグレスコストはゼロでした。この統合はオープンソースであり、pip install skypilot[huggingface]で利用可能です。