EleutherAI — новости и модели ИИ

Token Cramming: идеальное сжатие текста не сохраняет смысл — исследование AIRI

Исследователи из AIRI (FusionBrain) выявили критические проблемы метода token cramming, который позволяет «упаковать» тысячи токенов в один эмбеддинг. Оказалось, что даже при 99,96% точности реконструкции модель теряет способность рассуждать над сжатым текстом. Предложен новый протокол progressive cramming, гарантирующий 100% реконструкцию, но показывающий, что восстановление текста не равно пониманию.