Integroitaessa mukautettu Warhammer 40K -kielimalli Hugging Faceen
Hugging Face
Artikkelissa kuvataan, miten pakataan mukautettu dekoderi-vain -kielimalli (LinguaLaboratoriumMechanicus), joka on koulutettu Warhammer 40K -tarustolla, Hugging Face -formaattiin. Siinä selitetään kokoonpanoluokan ja mallikääreen luominen, jotka periytyvät luokista transformers.PretrainedConfig ja transformers.PreTrainedModel, sekä tallentaminen ja lataaminen Hubiin, jotta sitä voidaan helposti käyttää AutoModelForCausalLM:n kanssa.
Kirjoittaja Vladimir julkaisee sarjaa, jossa hän rakentaa tyhjästä pienen dekoderipohjaisen LLM-mallin. Osassa 5 hän integroi mallin Hugging Face -alustaan luomalla konfiguraatioluokan (LinguaLaboratoriumMechanicusConfig), joka tallentaa hyperparametrit, sekä mallikääreen (LLMForCausalLM), joka perii PreTrainedModel- ja GenerationMixin-luokat. Kääre määrittelee forward- ja prepare_inputs_for_generation-metodit, ja painot muunnetaan PyTorch-tarkistuspisteestä. Lopuksi malli tallennetaan automaattisella luokkarekisteröinnillä, ja se voidaan ladata AutoModelForCausalLM-luokan avulla trust_remote_code-lippu asennettuna.
Lähde: Habr — хаб ML —
Alkuperäinen