Token Cramming: Perfect Text Compression Does Not Preserve Meaning – AIRI Study

Sekelompok peneliti dari laboratorium FusionBrain AIRI yang dipimpin oleh Dmitry Tarasova mempresentasikan makalah di ICML 2026, yang secara kritis menganalisis metode token cramming—mengompresi ratusan dan ribuan token teks menjadi satu vektor masukan dari large language model (LLM) yang dibekukan. Sebelumnya, karya rekan Yuri Kuratov (AIRI) menunjukkan bahwa hingga 1568 token dapat 'dikemas' ke dalam satu vektor dengan akurasi rekonstruksi 99,96% menggunakan teacher forcing. Namun, analisis baru mengungkapkan bahwa kesalahan terkonsentrasi pada posisi pertama, yang fatal untuk pembuatan autoregresif: dengan greedy decoding, akurasi turun menjadi 40% untuk Llama-3.1-8B. Penulis mengusulkan metode progressive cramming, yang secara bertahap menambah panjang prefiks satu token pada satu waktu, menjamin rekonstruksi 100% pada setiap langkah. Dengan metode ini, kapasitas berbagai model diukur: Llama-3.1-8B mengompresi rata-rata 1438 token, Pythia-1.4B — 430, SmolLM2-1.7B — 335, Gemma-3-4B — 214. Penerapan proyeksi berdimensi rendah meningkatkan kapasitas sebesar 1,2–3,3 kali lipat. Studi tentang lintasan optimasi menunjukkan bahwa jalur pengoptimal dalam ruang vektor terletak di subruang berdimensi rendah (30–100 komponen), meskipun himpunan solusi berdimensi tinggi. Hasil utama: rekonstruksi sempurna tidak menjamin pelestarian makna. Penambahan vektor terkompresi ke konteks menurunkan akurasi pada HellaSwag dan ARC-Easy (misalnya, untuk Llama-3.1-8B dari 61,9% menjadi 40,8% pada HellaSwag), dan pada MMLU 5-shot, akurasinya turun hampir ke nol. Penyebabnya ada pada lapisan awal transformer: meredam perhatian terhadap vektor pada lapisan awal memulihkan kemampuan bernalar. Kapasitas kompresi meningkat dengan kedalaman dan lebar model; untuk SmolLM2, 8 lapisan awal mengompresi lebih banyak daripada model lengkap.