Integration eines eigenen Warhammer-40K-LLMs mit Hugging Face
Hugging Face
Der Artikel beschreibt, wie ein eigenes Decoder-only-LLM (LinguaLaboratoriumMechanicus), das mit Warhammer-40K-Lore trainiert wurde, in das Hugging-Face-Format verpackt wird. Es wird erklärt, wie eine Konfigurationsklasse und ein Modell-Wrapper erstellt werden, die von transformers.PretrainedConfig beziehungsweise transformers.PreTrainedModel erben, und wie das Modell gespeichert und auf den Hub hochgeladen wird, um es einfach mit AutoModelForCausalLM zu verwenden.
Der Autor Vladimir schreibt eine Serie über den Aufbau eines kleinen Decoder-only-LLMs von Grund auf. In Teil 5 integriert er das Modell mit Hugging Face, indem er eine Konfigurationsklasse (LinguaLaboratoriumMechanicusConfig) erstellt, die Hyperparameter speichert, und einen Modell-Wrapper (LLMForCausalLM), der von PreTrainedModel und GenerationMixin erbt. Der Wrapper definiert die Methoden forward und prepare_inputs_for_generation, und die Gewichte werden aus einem PyTorch-Checkpoint konvertiert. Schließlich wird das Modell mit automatischer Klassenregistrierung gespeichert und kann über AutoModelForCausalLM mit dem Flag trust_remote_code geladen werden.
Quelle: Habr — хаб ML —
Original