Intégration d'un LLM Warhammer 40K personnalisé avec Hugging Face
Hugging Face
L'article décrit comment empaqueter un LLM décodeur personnalisé (LinguaLaboratoriumMechanicus) entraîné sur le lore de Warhammer 40K au format Hugging Face. Il explique la création d'une classe de configuration et d'un wrapper de modèle héritant de transformers.PretrainedConfig et transformers.PreTrainedModel, puis l'enregistrement et le téléchargement sur le Hub pour une utilisation facile avec AutoModelForCausalLM.
L'auteur, Vladimir, écrit une série sur la construction d'un petit LLM décodeur-only de zéro. Dans la partie 5, il intègre le modèle avec Hugging Face en créant une classe de configuration (LinguaLaboratoriumMechanicusConfig) qui stocke les hyperparamètres et un wrapper de modèle (LLMForCausalLM) qui hérite de PreTrainedModel et GenerationMixin. Le wrapper définit les méthodes forward et prepare_inputs_for_generation, et les poids sont convertis à partir d'un checkpoint PyTorch. Enfin, le modèle est sauvegardé avec un enregistrement automatique de classe et peut être chargé via AutoModelForCausalLM avec le drapeau trust_remote_code.
Source: Habr — хаб ML —
original