EleutherAI

Compactação de Tokens: Compressão Perfeita de Texto Não Preserva o Significado – Estudo da AIRI

Pesquisadores da AIRI (FusionBrain) identificaram problemas críticos com o método de compactação de tokens, que permite empacotar milhares de tokens em uma única incorporação (embedding). Descobriu-se que, mesmo com 99,96% de precisão na reconstrução, o modelo perde a capacidade de raciocinar sobre o texto comprimido. Um novo protocolo chamado compactação progressiva foi proposto, garantindo 100% de reconstrução, mas mostrando que a recuperação do texto não equivale à compreensão.

Meta EleutherAI Hugging Face Google/DeepMind Alibaba/Qwen