Token Cramming: Ideale tekstcompressie behoudt betekenis niet – AIRI-onderzoek

Onderzoekers van AIRI bestudeerden de token-cramming-methode, die tot 1.568 tokens comprimeert in een enkele inbedding van een bevroren groot taalmodel met een reconstructienauwkeurigheid van >99%. Wanneer ze echter overschakelen van teacher forcing naar greedy decoding, daalt de nauwkeurigheid naar 40%, doordat fouten zich concentreren op de eerste tokens. De auteurs stelden progressive cramming voor, die 100% reconstructie garandeert door stapsgewijs één voor één tokens toe te voegen. Met deze methode maten ze de compressiecapaciteit van verschillende modellen: bijvoorbeeld Llama-3.1-8B comprimeert 1.438 tokens, en met laagdimensionale projectie tot 1.697 tokens. Het bestuderen van optimalisatietrajecten toonde aan dat deze in een laagdimensionale deelruimte liggen (30–100 componenten). Het belangrijkste resultaat: zelfs een perfect gecomprimeerde inbedding, wanneer samen met het oorspronkelijke voorvoegsel gevoerd, vermindert de nauwkeurigheid op HellaSwag (van 61,9% naar 40,8% voor Llama) en daalt tot nul op MMLU. De reden ligt in de vroege transformatorlagen: attention knock-out onthulde dat interacties in de eerste lagen noodzakelijk zijn voor reconstructie maar begrip belemmeren. Compressiecapaciteit neemt monotoon toe met modeldiepte en -breedte. Ook werd ontdekt dat de moeilijkheid van het comprimeren van een token wordt voorspeld door de verrassingswaarde ervan.