कस्टम Warhammer 40K LLM को Hugging Face के साथ एकीकृत करना
Hugging Face
यह लेख बताता है कि Warhammer 40K की कथाओं पर प्रशिक्षित एक कस्टम डिकोडर-ओनली LLM (LinguaLaboratoriumMechanicus) को Hugging Face प्रारूप में कैसे पैक किया जाए। यह transformers.PretrainedConfig और transformers.PreTrainedModel से विरासत में मिली एक कॉन्फ़िगरेशन क्लास और मॉडल रैपर बनाने का विवरण देता है, फिर Hub पर सहेजने और अपलोड करने की प्रक्रिया बताता है ताकि AutoModelForCausalLM के साथ आसानी से उपयोग किया जा सके।
लेखक, व्लादिमीर, शुरुआत से एक छोटा डिकोडर-ओनली एलएलएम बनाने पर एक श्रृंखला लिख रहा है। भाग 5 में, वह एक कॉन्फ़िगरेशन क्लास (LinguaLaboratoriumMechanicusConfig) बनाकर मॉडल को हगिंग फेस के साथ एकीकृत करता है जो हाइपरपैरामीटर स्टोर करता है और एक मॉडल रैपर (LLMForCausalLM) जो PreTrainedModel और GenerationMixin से इनहेरिट करता है। रैपर फॉरवर्ड और prepare_inputs_for_generation विधियों को परिभाषित करता है, और वेट्स को पाइटॉर्च चेकपॉइंट से परिवर्तित किया जाता है। अंत में, मॉडल को ऑटो-क्लास रजिस्ट्रेशन के साथ सहेजा जाता है और AutoModelForCausalLM के माध्यम से trust_remote_code फ्लैग के साथ लोड किया जा सकता है।
स्रोत: Habr — хаб ML —
मूल