Token Cramming: Täydellinen tekstin pakkaus ei säilytä merkitystä – AIRI-tutkimus
AIRI:n (FusionBrain) tutkijat tunnistivat kriittisiä ongelmia token cramming -menetelmässä, joka mahdollistaa tuhansien tokenien pakkaamisen yhteen upotukseen. Kävi ilmi, että jopa 99,96 %:n rekonstruktiotarkkuudella malli menettää kykynsä päätellä pakattua tekstiä. Ehdotettiin uutta protokollaa nimeltä progressiivinen cramming, joka takaa 100 %:n rekonstruktion, mutta osoittaa, että tekstin palauttaminen ei vastaa ymmärtämistä.
Meta
EleutherAI
Hugging Face
Google/DeepMind
Alibaba/Qwen
Habr — хаб ИИ27.07 · 10:03