EleutherAI — actualités et modèles d'IA

Recherche 🇷🇺

Compression de jetons : la compression parfaite du texte ne préserve pas le sens – Étude AIRI

Des chercheurs d'AIRI (FusionBrain) ont identifié des problèmes critiques avec la méthode de compression de jetons, qui permet de compresser des milliers de jetons en un seul plongement. Il s'est avéré que même avec une précision de reconstruction de 99,96 %, le modèle perd sa capacité à raisonner sur le texte compressé. Un nouveau protocole appelé compression progressive a été proposé, garantissant une reconstruction à 100 %, mais montrant que la récupération du texte n'équivaut pas à la compréhension.