Token Cramming: Perfecte tekstcompressie behoudt betekenis niet – AIRI-studie
Onderzoekers van AIRI (FusionBrain) hebben kritieke problemen geïdentificeerd met de token cramming-methode, waarmee duizenden tokens in één enkele embedding kunnen worden gepakt. Het bleek dat zelfs bij 99,96% reconstructienauwkeurigheid het model zijn vermogen verliest om te redeneren over gecomprimeerde tekst. Er werd een nieuw protocol voorgesteld, genaamd progressive cramming, dat 100% reconstructie garandeert, maar aantoont dat tekstherstel niet gelijkstaat aan begrip.
Meta
EleutherAI
Hugging Face
Google/DeepMind
Alibaba/Qwen
Habr — хаб ИИ27.07 · 10:03