Mengintegrasikan LLM Warhammer 40K Kustom dengan Hugging Face
Hugging Face
Artikel ini menjelaskan cara mengemas LLM kustom hanya-dekoder (LinguaLaboratoriumMechanicus) yang dilatih pada lore Warhammer 40K ke dalam format Hugging Face. Ini menjelaskan pembuatan kelas konfigurasi dan pembungkus model yang mewarisi dari transformers.PretrainedConfig dan transformers.PreTrainedModel, kemudian menyimpan dan mengunggah ke Hub untuk digunakan dengan mudah menggunakan AutoModelForCausalLM.
Penulis, Vladimir, sedang menulis seri tentang membangun LLM decoder-only kecil dari awal. Pada bagian 5, dia mengintegrasikan model dengan Hugging Face dengan membuat kelas konfigurasi (LinguaLaboratoriumMechanicusConfig) yang menyimpan hyperparameter dan pembungkus model (LLMForCausalLM) yang mewarisi dari PreTrainedModel dan GenerationMixin. Pembungkus mendefinisikan metode forward dan prepare_inputs_for_generation, dan bobotnya dikonversi dari checkpoint PyTorch. Akhirnya, model disimpan dengan registrasi kelas otomatis dan dapat dimuat melalui AutoModelForCausalLM dengan flag trust_remote_code.
Sumber: Habr — хаб ML —
asli