Интеграция кастомной LLM по Warhammer 40K с Hugging Face
В статье описывается, как упаковать кастомную LLM с архитектурой decoder-only (LinguaLaboratoriumMechanicus), обученную на лоре Warhammer 40K, в формат Hugging Face. Объясняется создание класса конфигурации и обертки модели, наследующих от transformers.PretrainedConfig и transformers.PreTrainedModel, а затем сохранение и загрузка на Hub для удобного использования с AutoModelForCausalLM.
Автор, Владимир, пишет серию статей о создании небольшого декодерного LLM с нуля. В пятой части он интегрирует модель с Hugging Face, создавая класс конфигурации (LinguaLaboratoriumMechanicusConfig), который хранит гиперпараметры, и обертку модели (LLMForCausalLM), которая наследуется от PreTrainedModel и GenerationMixin. Обертка определяет методы forward и prepare_inputs_for_generation, а веса
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал