EleutherAI — AI 新闻与模型

研究 🇷🇺

来自AIRI（FusionBrain）的研究人员发现了令牌压缩方法的关键问题，该方法允许将数千个令牌打包到一个嵌入中。结果表明，即使达到99.96%的重建准确率，模型也会丧失对压缩文本进行推理的能力。研究人员提出了一种名为渐进压缩的新协议，保证100%重建，但显示文本恢复并不等同于理解。