Memorization vs Generalization: apa yang sebenarnya bisa dilakukan model bahasa dengan 2160 parameter

Dalam versi 1.1.0 proyek Tiny Language Model di Node.js, setelah diskusi di komunitas ML dan umpan balik dari para insinyur di Hashnode, ditambahkan penelitian tentang batas antara menghafal dan generalisasi. Dengan seed tetap 42, dilakukan evaluasi beku (frozen evaluation) dari empat pemeriksaan: pola terlatih yang tepat, token yang familiar dalam urutan baru, pola yang sepenuhnya ditahan, dan pemeliharaan 14 relasi setelah adaptive SFT. Hasilnya menunjukkan bahwa pada pola yang familiar, probabilitas minimum token yang benar mencapai 99,93%, pada permutasi token sebesar 81,69%, dan pada struktur pertanyaan yang tidak dikenal hanya 10,46%, di mana model menjawab 'cat can fly' bukan 'cat cannot read' yang diharapkan. Tugas pemeliharaan relasi diselesaikan sepenuhnya (14 dari 14, akurasi 100%). Eksperimen ini menunjukkan bahwa batas kemampuan model terletak antara menghafal dan transfer lokal versus generalisasi sejati: model mereproduksi apa yang dipelajari dengan baik dan menangani perubahan kecil, tetapi struktur baru merusak perilaku. Penyebab keterbatasan tidak hanya pada jumlah parameter, tetapi juga pada korpus yang kecil dengan jumlah konstruksi yang terbatas. Penulis mencatat bahwa menambah neuron atau blok tanpa data yang lebih beragam hanya akan meningkatkan hafalan. Ini adalah diagnostik pembelajaran yang dapat direproduksi, bukan benchmark yang lengkap.