Integración de un LLM personalizado de Warhammer 40K con Hugging Face
Hugging Face
El artículo describe cómo empaquetar un LLM personalizado solo-decodificador (LinguaLaboratoriumMechanicus) entrenado con la tradición de Warhammer 40K en el formato de Hugging Face. Explica la creación de una clase de configuración y un envoltorio de modelo que heredan de transformers.PretrainedConfig y transformers.PreTrainedModel, y luego guardarlos y subirlos al Hub para usarlos fácilmente con AutoModelForCausalLM.
El autor, Vladimir, está escribiendo una serie sobre la construcción de un LLM decodificador pequeño desde cero. En la parte 5, integra el modelo con Hugging Face creando una clase de configuración (LinguaLaboratoriumMechanicusConfig) que almacena los hiperparámetros y un envoltorio del modelo (LLMForCausalLM) que hereda de PreTrainedModel y GenerationMixin. El envoltorio define los métodos forward y prepare_inputs_for_generation, y los pesos se convierten desde un punto de control de PyTorch. Finalmente, el modelo se guarda con registro de clase automática y se puede cargar mediante AutoModelForCausalLM con la opción trust_remote_code activada.
Fuente: Habr — хаб ML —
original