Özel Bir Warhammer 40K LLM'sini Hugging Face ile Entegre Etme
Hugging Face
Makale, Warhammer 40K lore'u üzerinde eğitilmiş özel bir sadece kod çözücü LLM'sini (LinguaLaboratoriumMechanicus) Hugging Face formatına nasıl paketleneceğini açıklıyor. transformers.PretrainedConfig ve transformers.PreTrainedModel sınıflarından miras alan bir yapılandırma sınıfı ve model sarmalayıcı oluşturmayı, ardından AutoModelForCausalLM ile kolay kullanım için Hub'a kaydetmeyi ve yüklemeyi anlatıyor.
Yazar Vladimir, sıfırdan küçük bir decoder-only LLM oluşturma serisi yazıyor. 5. bölümde, modeli Hugging Face ile entegre ediyor: hiperparametreleri saklayan bir konfigürasyon sınıfı (LinguaLaboratoriumMechanicusConfig) ve PreTrainedModel ile GenerationMixin'den miras alan bir model sarmalayıcısı (LLMForCausalLM) oluşturuyor. Sarmalayıcı, forward ve prepare_inputs_for_generation yöntemlerini tanımlıyor ve ağırlıklar bir PyTorch kontrol noktasından dönüştürülüyor. Son olarak, model otomatik sınıf kaydı ile kaydediliyor ve trust_remote_code bayrağı ile AutoModelForCausalLM üzerinden yüklenebiliyor.
Kaynak: Habr — хаб ML —
orijinal