기억 대 일반화: 2160개 파라미터의 언어 모델이 실제로 할 수 있는 일

Tiny Language Model(Node.js) 프로젝트 버전 1.1.0에서는 ML 커뮤니티에서의 논의와 Hashnode의 엔지니어들로부터의 피드백을 바탕으로 암기와 일반화 사이의 경계에 대한 연구를 추가했습니다. 고정 시드 42로 4가지 검사로 구성된 고정 평가(frozen evaluation)를 수행했습니다: 정확히 학습된 패턴, 새로운 순서의 익숙한 토큰, 완전히 새로운 패턴, 적응형 SFT 이후 14개 관계의 보존. 결과는 익숙한 패턴에서 올바른 토큰의 최소 확률이 99.93%, 토큰 순서 변경 시 81.69%, 미지의 질문 구조에서 단 10.46%였으며, 모델은 예상된 'cat cannot read' 대신 'cat can fly'라고 응답했습니다. 관계 보존 작업은 완전히 수행되었습니다(14/14, 정확도 100%). 이 실험은 모델 능력의 경계가 암기 및 국소적 전이와 진정한 일반화 사이에 있음을 보여줍니다: 모델은 학습한 내용을 잘 재현하고 약간의 변경에는 대처하지만, 새로운 구조는 행동을 붕괴시킵니다. 제한의 원인은 매개변수 수뿐만 아니라 제한된 수의 구문을 가진 작은 코퍼스에도 있습니다. 저자는 더 다양한 데이터 없이 뉴런이나 블록을 늘리는 것은 단지 암기 능력만 향상시킬 뿐이라고 지적합니다. 이것은 재현 가능한 교육용 진단 도구이지 완전한 벤치마크가 아닙니다.