Oman GPT-tyyppisen Warhammer 40K -kielimallin rakentaminen alusta alkaen. Osa 4: Ohjattu hienosäätö kysymys-vastausdatalla

Sarjan kirjoittaja Vladimir omistaa neljännen osan oman dekooderivain LLM-mallinsa (LinguaLaboratoriumMechanicus) hienosäädölle kysymys-vastaus-tietoaineistolla (SFT, Supervised Fine-Tuning). Tavoitteena on opettaa malli käymään keskustelua, eikä vain ennustamaan seuraavaa tokenia. Tiedot on kerätty aihekohtaisilta foorumeilta, artikkeleista ja osittain tuotettu synteettisesti. Tokenisaattoriin on lisätty erityiset tokenit <|user|> ja <|assistant|>, ja sanastoa on laajennettu kahdella tokenilla. ChatQADataset-tietoaineisto peittää häviön: se lasketaan vain avustajan vastaustokeneista (muissa kohdissa arvo on -100). Perusmallia ladattaessa upotussanakirjaa ja ulostulokerrosta laajennetaan uuteen kokoon, ja uudet painot alustetaan vanhojen keskiarvolla. Harjoitussilmukka käyttää AdamW-optimointia, kosinilämmittelyaikataulua (cosine scheduler) lämmittelyvaiheella, gradienttiklippausta ja matalampaa oppimisnopeutta (1e-5 vs. 3e-4 esiharjoittelussa). SFT kesti 20 minuuttia (15 epookkia). Harjoituksen loppuun mennessä häviö laski 3,7:stä 2,1:een, mutta generoinnin laatu alkoi heikentyä pienen tietoaineiston ylisovittumisen vuoksi. Vertailu ennen ja jälkeen: perusmalli jatkoi tekstiä keskusteluna (esim. toisti ”En tiedä”), kun taas hienosäädetty malli yritti vastata kysymykseen (esim. Tuhoisasta myrskystä). Malli oppi vastausmuodon, mutta tosiasioissa se tekee usein virheitä.