Integratie van een Aangepaste Warhammer 40K LLM met Hugging Face
Hugging Face
Het artikel beschrijft hoe je een aangepaste decoder-only LLM (LinguaLaboratoriumMechanicus), getraind op Warhammer 40K-lore, in Hugging Face-formaat verpakt. Het legt uit hoe je een configuratieklasse en een modelwrapper maakt die overerven van transformers.PretrainedConfig en transformers.PreTrainedModel, en hoe je deze vervolgens opslaat en uploadt naar de Hub voor eenvoudig gebruik met AutoModelForCausalLM.
De auteur, Vladimir, schrijft een serie over het bouwen van een kleine decoder-only LLM vanaf nul. In deel 5 integreert hij het model met Hugging Face door een configuratieklasse (LinguaLaboratoriumMechanicusConfig) te creëren die hyperparameters opslaat en een modelwrapper (LLMForCausalLM) die overerft van PreTrainedModel en GenerationMixin. De wrapper definieert forward- en prepare_inputs_for_generation-methoden, en de gewichten worden geconverteerd uit een PyTorch-checkpoint. Ten slotte wordt het model opgeslagen met automatische klassenregistratie en kan het worden geladen via AutoModelForCausalLM met de trust_remote_code-vlag.
Bron: Habr — хаб ML —
origineel