Sıfırdan Kendi Warhammer 40K GPT-benzeri LLM'nizi Oluşturmak. Bölüm 4: Soru-Cevap Üzerinde Denetimli İnce Ayar
Hugging Face
Bir kod çözücü-only LLM'yi sıfırdan oluşturma serisinin dördüncü bölümü, diyaloğu etkinleştirmek için bir soru-cevap veri kümesi üzerinde denetimli ince ayara (SFT) odaklanıyor. Yazar, tokenleştiriciyi özel rol tokenlarıyla genişletiyor, bir QA veri kümesi oluşturuyor ve modeli ince ayar yapıyor; kayıp azalırken, aşırı uyum nedeniyle üretim kalitesinin düşebileceğini gözlemliyor. Kontrol noktası, minimum kayıp yerine üretim kalitesine göre seçiliyor.
Makale, Warhammer 40K bilgisi için küçük bir decoder-only LLM eğitiminin SFT aşamasını anlatıyor. Ön eğitimden sonra temel model metne devam edebiliyor ancak soruları yanıtlayamıyor. Yazar, forumlardan, makalelerden ve sentetik verilerden soru-cevap çiftleri topluyor, ardından yalnızca asistan tokenlarındaki kaybı maskeleyen bir ChatQADataset oluşturuyor. Tokenizer, özel tokenlar <|user|> ve <|assistant|> ile genişletiliyor. Modelin embedding ve çıktı katmanları, yeni tokenları barındıracak şekilde yeniden boyutlandırılıyor. İnce ayar, daha düşük öğrenme oranı (1e-5) kullanılarak yaklaşık 20 dakika sürüyor. Kayıp 3.7'den 2.1'e düşse de yazar aşırı uyuma dikkat çekiyor ve kontrol noktalarının üretim kalitesine göre seçilmesini öneriyor. Bir karşılaştırma, temel modelin diyalog benzeri metin çıkarırken ince ayarlı modelin soruyu yanıtlamaya çalıştığını gösteriyor.
Kaynak: Habr — хаб ИИ —
orijinal