EleutherAI

Token Cramming: Perfecte tekstcompressie behoudt betekenis niet – AIRI-studie

Onderzoekers van AIRI (FusionBrain) hebben kritieke problemen geïdentificeerd met de token cramming-methode, waarmee duizenden tokens in één enkele embedding kunnen worden gepakt. Het bleek dat zelfs bij 99,96% reconstructienauwkeurigheid het model zijn vermogen verliest om te redeneren over gecomprimeerde tekst. Er werd een nieuw protocol voorgesteld, genaamd progressive cramming, dat 100% reconstructie garandeert, maar aantoont dat tekstherstel niet gelijkstaat aan begrip.

Meta EleutherAI Hugging Face Google/DeepMind Alibaba/Qwen