EleutherAI

Token Cramming: la compresión perfecta de texto no preserva el significado – Estudio AIRI

Investigadores de AIRI (FusionBrain) identificaron problemas críticos con el método token cramming, que permite empaquetar miles de tokens en una sola incrustación. Resultó que incluso con una precisión de reconstrucción del 99.96%, el modelo pierde su capacidad de razonar sobre el texto comprimido. Se propuso un nuevo protocolo llamado progressive cramming, que garantiza una reconstrucción del 100% pero muestra que la recuperación del texto no equivale a comprensión.

Meta EleutherAI Hugging Face Google/DeepMind Alibaba/Qwen