Muistaminen vs. yleistäminen: mihin 2160 parametrin kielimalli oikeasti pystyy

Tiny Language Model -projektin versiossa 1.1.0 Node.js:lle, ML-yhteisön keskustelun ja Hashnode-palvelun insinööreiltä saadun palautteen jälkeen, on lisätty tutkimus muistamisen ja yleistämisen välisestä rajasta. Kiinteällä siemenellä 42 suoritettiin jäädytetty arviointi, joka koostui neljästä tarkistuksesta: tarkka opittu malli, tutut tokenit uudessa järjestyksessä, täysin pidätetty malli ja 14 suhteen säilyttäminen adaptiivisen SFT:n jälkeen. Tulokset osoittivat, että tutussa mallissa oikean tokenin vähimmäistodennäköisyys oli 99,93 prosenttia, tokenien permutaatiossa 81,69 prosenttia ja tuntemattomassa kysymysrakenteessa vain 10,46 prosenttia, jolloin malli vastasi 'cat can fly' odotetun 'cat cannot read' sijaan. Suhteiden säilyttämistehtävä suoritettiin täysin (14/14, tarkkuus 100 prosenttia). Kokeilu osoittaa, että mallin kyvykkyyden raja kulkee muistamisen ja paikallisen siirron sekä todellisen yleistämisen välillä: malli toistaa hyvin opitun ja selviytyy pienistä muutoksista, mutta uusi rakenne tuhoaa käyttäytymisen. Rajoittuneisuuden syy ei ole vain parametrien määrä, vaan myös pieni korpus, jossa on rajallinen määrä rakenteita. Kirjoittaja huomauttaa, että neuronien tai lohkojen lisääminen ilman monipuolisempaa dataa parantaa vain muistamista. Tämä on toistettavissa oleva oppimisdiagnostiikka, ei täysimittainen benchmark.