Memorização versus Generalização: o que uma modelo de linguagem com 2160 parâmetros realmente consegue fazer
Um experimento com uma minúscula modelo de linguagem com 2160 parâmetros mostrou memorização confiante dos padrões treinados (probabilidade de token de 99,93%), transferência limitada para a permutação de tokens familiares (81,69%) e falha em nova estrutura de pergunta (10,46%). A modelo preservou todas as 14 relações originais sem esquecimento catastrófico.
Na versão 1.1.0 do projeto Tiny Language Model em Node.js, após discussões na comunidade de ML e feedback de engenheiros no Hashnode, foi adicionada uma investigação sobre a fronteira entre memorização e generalização. Com a semente fixa 42, foi realizada uma avaliação congelada composta por quatro verificações: um padrão de treinamento exato, tokens familiares em nova ordem, um padrão completamente adiado e a preservação de 14 relações após SFT adaptativo. Os resultados mostraram que, no padrão familiar, a probabilidade mínima do token correto foi de 99,93%, na permutação de tokens foi de 81,69%, e na estrutura de pergunta desconhecida foi de apenas 10,46%, com o modelo respondendo 'cat can fly' em vez do esperado 'cat cannot read'. A tarefa de preservação de relações foi totalmente concluída (14 de 14, precisão de 100%). O experimento demonstra que a fronteira das capacidades do modelo está entre memorização e transferência local, e a verdadeira generalização: o modelo reproduz bem o que aprendeu e lida com pequenas variações, mas uma nova estrutura quebra o comportamento. A razão para a limitação não está apenas no número de parâmetros, mas também no corpus pequeno com número limitado de construções. O autor observa que aumentar neurônios ou blocos sem dados mais diversos apenas melhorará a memorização. Isso é um diagnóstico educacional reproduzível, não um benchmark completo.
Fonte: Habr — хаб ИИ —
original