EleutherAI

Token Cramming: Perfekte Textkompression bewahrt die Bedeutung nicht – AIRI-Studie

Forscher von AIRI (FusionBrain) identifizierten kritische Probleme mit der Token-Cramming-Methode, die es ermöglicht, Tausende von Token in ein einzelnes Embedding zu packen. Es stellte sich heraus, dass selbst bei 99,96% Rekonstruktionsgenauigkeit das Modell seine Fähigkeit verliert, über komprimierten Text zu argumentieren. Es wurde ein neues Protokoll namens Progressive Cramming vorgeschlagen, das eine 100%ige Rekonstruktion garantiert, aber zeigt, dass Textwiederherstellung nicht gleichbedeutend mit Verständnis ist.

Meta EleutherAI Hugging Face Google/DeepMind Alibaba/Qwen