Memorización vs generalización: qué puede hacer realmente un modelo de lenguaje de 2160 parámetros
Un experimento con un pequeño modelo de lenguaje de 2160 parámetros mostró una memorización segura de los patrones entrenados (99.93% de probabilidad del token), una transferencia limitada a la permutación de tokens conocidos (81.69%) y un fallo en una nueva estructura de pregunta (10.46%). El modelo conservó las 14 relaciones originales sin olvido catastrófico.
En la versión 1.1.0 del proyecto Tiny Language Model en Node.js, tras la discusión en la comunidad de ML y los comentarios de los ingenieros en Hashnode, se añadió una investigación sobre el límite entre memorización y generalización. Con una semilla fija de 42, se realizó una evaluación congelada de cuatro pruebas: patrón entrenado exacto, tokens conocidos en un orden nuevo, patrón completamente diferido y preservación de 14 relaciones después de un ajuste fino adaptativo (adaptive SFT). Los resultados mostraron que en el patrón conocido la probabilidad mínima del token correcto fue del 99.93%, en la permutación de tokens del 81.69%, y en la estructura desconocida de la pregunta solo del 10.46%, respondiendo el modelo 'cat can fly' en lugar de lo esperado 'cat cannot read'. La tarea de preservación de relaciones se completó por completo (14 de 14, precisión del 100%). El experimento demuestra que el límite de las capacidades del modelo se encuentra entre memorización y transferencia local, y una generalización real: el modelo reproduce bien lo aprendido y maneja cambios menores, pero una estructura nueva destruye su comportamiento. La razón de la limitación no es solo la cantidad de parámetros, sino también el corpus pequeño con un número limitado de construcciones. El autor señala que aumentar neuronas o bloques sin datos más diversos solo mejorará la memorización. Esto es un diagnóstico reproducible de aprendizaje, no un benchmark completo.
Fuente: Habr — хаб ИИ —
original