Integrando um LLM personalizado de Warhammer 40K com Hugging Face
Hugging Face
O artigo descreve como empacotar um LLM personalizado apenas com decodificador (LinguaLaboratoriumMechanicus), treinado em conhecimento de Warhammer 40K, no formato Hugging Face. Explica a criação de uma classe de configuração e um wrapper de modelo que herdam de transformers.PretrainedConfig e transformers.PreTrainedModel, e depois salvar e enviar para o Hub para uso fácil com AutoModelForCausalLM.
O autor, Vladimir, está escrevendo uma série sobre a construção de um LLM decoder-only do zero. Na parte 5, ele integra o modelo com o Hugging Face criando uma classe de configuração (LinguaLaboratoriumMechanicusConfig) que armazena hiperparâmetros e um wrapper de modelo (LLMForCausalLM) que herda de PreTrainedModel e GenerationMixin. O wrapper define métodos forward e prepare_inputs_for_generation, e os pesos são convertidos de um checkpoint do PyTorch. Finalmente, o modelo é salvo com registro automático de classe e pode ser carregado via AutoModelForCausalLM com a flag trust_remote_code.
Fonte: Habr — хаб ML —
original