Kiinalaiset yritykset kehittävät aktiivisesti omia suuria kielimallejaan pyrkien kilpailemaan amerikkalaisten vastineidensa kanssa. Zhipu AI on ilmoittanut merkittävästä päivityksestä GLM-5.5-malliinsa, kutsuen sitä eeppiseksi parannukseksi.
Artikkelisarjan neljännessä osassa kirjoittaja hienosäätää (ohjattu hienosäätö, Supervised Fine-Tuning SFT) dekooderipohjaista kielimalliaan kysymys-vastausdatalla, jotta malli pystyy käymään keskustelua pelkän tekstin jatkamisen sijaan. Artikkeli käsittelee datan keruuta, tokenisaattorin laajentamista, datasettiin valmistelua häviön peittämisellä (loss masking) ainoastaan assistentin vastauksille sekä harjoitustuloksia: malli oppi vastausformaatin, mutta kärsii lore-epätarkkuuksista.
Hugging Face