شغل أعباء العمل في الذكاء الاصطناعي على أي سحابة مع تخزين Hugging Face: بدون رسوم نقل عبر SkyPilot
Hugging Face
تعاونت Hugging Face و SkyPilot لتتيح تخزين النماذج ومجموعات البيانات على Hugging Face Hub بينما تُشغل مهام الحوسبة على أي سحابة أو مجموعة. التكامل الجديد عبر مخطط hf:// يتيح تحميل البيانات بدون رسوم نقل للقراءة، مما يبسط استخدام وحدات معالجة الرسوميات من موفري مختلفين دون تكرار البيانات.
أعلنت Hugging Face بالتعاون مع مشروع SkyPilot عن تكامل جديد يتيح تخزين النماذج ومجموعات البيانات على Hugging Face Hub، وتشغيل المهام الحاسوبية (التدريب، الضبط الدقيق، الاستدلال) على أي سحابة أو عنقود عبر SkyPilot. يتم استخدام مخطط hf:// لتوصيل البيانات، ولا تُفرض رسوم على قراءة البيانات عند الخروج: لا تفرض Hugging Face Storage أي رسوم على حركة المرور الصادرة أو شبكة توصيل المحتوى (CDN). وهذا يتجنب تكرار البيانات لدى كل مزود سحابي والتكاليف المرتبطة بذلك. يعتمد التخزين على تقنية Xet مع إلغاء التكرار على مستوى المحتوى: عند نقاط التفتيش المتزايدة، تُنقل فقط الأجزاء المتغيرة. يدعم التكامل كلاً من التثبيت (MOUNT) عبر نظام ملفات مساحة المستخدم (FUSE) والنسخ (COPY). يُستخدم HF_TOKEN للمصادقة. في اختبار قياسي للضبط الدقيق لنموذج Qwen/Qwen3.5-4B على AWS وGCP وLambda، تم تحميل النموذج في حوالي 30 ثانية، وتمت كتابة نقاط التفتيش بسرعة تتراوح بين 112 و168 ميغابايت/ثانية. الحل مفتوح بالكامل: SkyPilot وhf-mount وhuggingface_hub هي مشاريع مفتوحة المصدر.
المصدر: Hugging Face blog —
الأصلي
