EleutherAI

Token Cramming: Täydellinen tekstin pakkaus ei säilytä merkitystä – AIRI-tutkimus

AIRI:n (FusionBrain) tutkijat tunnistivat kriittisiä ongelmia token cramming -menetelmässä, joka mahdollistaa tuhansien tokenien pakkaamisen yhteen upotukseen. Kävi ilmi, että jopa 99,96 %:n rekonstruktiotarkkuudella malli menettää kykynsä päätellä pakattua tekstiä. Ehdotettiin uutta protokollaa nimeltä progressiivinen cramming, joka takaa 100 %:n rekonstruktion, mutta osoittaa, että tekstin palauttaminen ei vastaa ymmärtämistä.

Meta EleutherAI Hugging Face Google/DeepMind Alibaba/Qwen