Memorisatie versus generalisatie: wat een taalmodel met 2160 parameters echt kan

In versie 1.1.0 van het project Tiny Language Model op Node.js, na discussie in de ML-gemeenschap en feedback van ingenieurs op Hashnode, is onderzoek toegevoegd naar de grens tussen memorisatie en generalisatie. Met een vaste seed van 42 is een frozen evaluation uitgevoerd bestaande uit vier controles: een exact getraind patroon, bekende tokens in een nieuwe volgorde, een volledig achtergehouden patroon en het behouden van 14 relaties na adaptive SFT. De resultaten toonden aan dat bij het bekende patroon de minimale kans op het juiste token 99,93% was, bij de permutatie van tokens 81,69%, en bij een onbekende vraagstructuur slechts 10,46%, waarbij het model 'cat can fly' antwoordde in plaats van het verwachte 'cat cannot read'. De taak om relaties te behouden werd volledig uitgevoerd (14 van de 14, 100% nauwkeurigheid). Het experiment toont aan dat de grens van de mogelijkheden van het model ligt tussen memorisatie en lokale transfer enerzijds en echte generalisatie anderzijds: het model reproduceert goed wat het heeft geleerd en kan omgaan met kleine wijzigingen, maar een nieuwe structuur verbreekt het gedrag. De reden voor de beperking ligt niet alleen in het aantal parameters, maar ook in het kleine corpus met een beperkt aantal constructies. De auteur merkt op dat het vergroten van het aantal neuronen of blokken zonder meer diverse data alleen het memoriseren zal verbeteren. Dit is een reproduceerbare educatieve diagnostiek, geen volwaardige benchmark.