Token Cramming: Kompresi Teks Ideal Tidak Menjaga Makna – Studi AIRI

Peneliti AIRI mempelajari metode pemadatan token (token cramming), yang memadatkan hingga 1.568 token ke dalam satu embedding dari large language model (LLM) beku dengan akurasi rekonstruksi >99%. Namun, saat beralih dari teacher forcing ke greedy decoding, akurasi turun menjadi 40%, karena kesalahan terkonsentrasi pada token pertama. Penulis mengusulkan progressive cramming, yang menjamin rekonstruksi 100% dengan menambahkan token secara bertahap satu per satu. Menggunakan metode ini, mereka mengukur kapasitas kompresi berbagai model: misalnya, Llama-3.1-8B memadatkan 1.438 token, dan dengan proyeksi dimensi rendah (low-dimensional projection), hingga 1.697. Mempelajari lintasan optimasi (optimization trajectories) menunjukkan bahwa lintasan tersebut berada dalam subruang berdimensi rendah (30–100 komponen). Hasil utama: bahkan embedding yang dipadatkan dengan sempurna, ketika diberikan bersama dengan prefiks asli, mengurangi akurasi pada HellaSwag (dari 61,9% menjadi 40,8% untuk Llama) dan turun menjadi nol pada MMLU. Alasannya terletak pada lapisan transformer awal: penghentian perhatian (attention knockout) mengungkapkan bahwa interaksi pada lapisan pertama diperlukan untuk rekonstruksi tetapi menghambat pemahaman. Kapasitas kompresi meningkat secara monoton dengan kedalaman dan lebar model. Ditemukan juga bahwa kesulitan memadatkan token diprediksi oleh tingkat kejutannya (surprisal).