Mémorisation vs généralisation : ce que peut vraiment faire un modèle de langue à 2160 paramètres
Une expérience avec un modèle de langue minuscule de 2160 paramètres a montré une mémorisation confiante des motifs appris (probabilité de jeton de 99,93 %), un transfert limité à la permutation de jetons familiers (81,69 %) et un échec sur une nouvelle structure de question (10,46 %). Le modèle a conservé les 14 relations originales sans oubli catastrophique.
Dans la version 1.1.0 du projet Tiny Language Model sur Node.js, à la suite d'une discussion dans la communauté ML et des retours d'ingénieurs sur Hashnode, une étude de la frontière entre mémorisation et généralisation a été ajoutée. Avec une graine fixée à 42, une évaluation gelée composée de quatre tests a été menée : un modèle exact entraîné, des jetons familiers dans un nouvel ordre, un modèle entièrement reporté et la conservation de 14 relations après un SFT adaptatif. Les résultats ont montré que sur le modèle familier, la probabilité minimale du jeton correct était de 99,93 %, sur la permutation des jetons de 81,69 %, et sur une structure de question inconnue de seulement 10,46 %, la modèle répondant 'cat can fly' au lieu de 'cat cannot read'. La tâche de conservation des relations a été entièrement réalisée (14 sur 14, précision de 100 %). L'expérience démontre que la frontière des capacités du modèle se situe entre la mémorisation et le transfert local, d'une part, et la véritable généralisation, d'autre part : le modèle reproduit bien ce qu'il a appris et gère de petites variations, mais une nouvelle structure perturbe son comportement. La limitation ne vient pas seulement du nombre de paramètres, mais aussi du petit corpus avec un nombre limité de constructions. L'auteur note que l'augmentation des neurones ou des blocs sans données plus diverses n'améliorera que la mémorisation. Il s'agit d'un diagnostic pédagogique reproductible, et non d'un benchmark complet.
Source: Habr — хаб ИИ —
original