دمج نموذج لغوي مخصص لـ Warhammer 40K مع Hugging Face
Hugging Face
تصف المقالة كيفية تعبئة نموذج لغوي كبير مخصص (LinguaLaboratoriumMechanicus) تم تدريبه على أساطير Warhammer 40K في تنسيق Hugging Face. تشرح إنشاء فئة تكوين وغلاف نموذج يرث من transformers.PretrainedConfig و transformers.PreTrainedModel، ثم حفظه وتحميله إلى Hub لاستخدامه بسهولة مع AutoModelForCausalLM.
الكاتب، فلاديمير، يكتب سلسلة عن بناء نموذج لغة كبير صغير من نوع الترميز فقط من الصفر. في الجزء الخامس، يدمج النموذج مع Hugging Face عن طريق إنشاء فئة إعدادات تخزن المعاملات الفائقة وفئة غلاف للنموذج ترث من فئة النموذج المدرب مسبقًا وفئة توليد المخرجات. يقوم الغلاف بتعريف طرق التمرير الأمامي وتحضير المدخلات للتوليد، ويتم تحويل الأوزان من نقطة تفتيش محفوظة في PyTorch. في النهاية، يتم حفظ النموذج مع التسجيل التلقائي للفئات، ويمكن تحميله عبر فئة تحميل النماذج مع تفعيل خيار الثقة في الكود البعيد.
المصدر: Habr — хаб ML —
الأصلي