ABBEL: LLM-kielimallien uskomusten päivittäminen pitkäaikaisen vuorovaikutuksen tehostamiseksi
Cursor
Alibaba/Qwen
ABBEL on viitekehys, joka parantaa LLM-kielimallien suorituskykyä pitkäkestoisissa tehtävissä eristämällä ja valvomalla tiivistelmien tietosisältöä käyttämällä luonnollisen kielen uskomustiloja. Se vähentää suorituskykyeroa täysikontekstimalleihin verrattuna noin 50 prosentilla samalla kun se puolittaa harjoitusaskeleet ja käyttää huomattavasti vähemmän muistia.
ABBEL (Autoencoder Belief Bottleneck for Efficient Learning) ratkaisee ongelman, jossa suuret kielimallit kamppailevat pitkien vuorovaikutusten kanssa, kun täyttä kontekstihistoriaa ei mahdu konteksti-ikkunaan. Perinteisen rekursiivisen tiivistämisen sijaan ABBEL muotoilee tiivistelmät tietotiloiksi, joita malli päivittää säännöllisesti. Tietotilan arvostelu lisää avustavan vahvistusoppimistehtävän, joka palkitsee tietotiloja sen perusteella, kuinka hyvin ne pystyvät rekonstruoimaan viimeaikaisia havaintoja. Yhteistyöohjelmointiympäristössä CollabBench ABBEL saavutti rekonstruktiopohjaisella tietotilan arvostelulla testin läpäisyasteen 0,48 (verrattuna 0,52:een täydellä kontekstilla) ja onnistumisasteen 0,36 (verrattuna 0,39:ään), käyttäen huipputokenimäärää 6,01 verrattuna 14,08:aan täydellä kontekstilla ja vaatien vain 50 harjoitusaskelta sadan sijaan. Yhdistelmälukko-tehtävässä (Combination Lock) aluetietoon perustuva tietotilan arvostelu mahdollisti ABBELin lähestyä tai ylittää täyden kontekstin suorituskyvyn. Monitavoitteisessa kysymys-vastaus-tehtävässä (multi-objective QA) huipputietotilan pituuden sakko (Peak Belief Length Penalty) vähensi muistin käyttöä minimaalisella suorituskyvyn heikkenemisellä. Artikkelin ovat kirjoittaneet Lidayan ja muut Berkeleyn tekoälylaboratoriosta.
Lähde: BAIR (Berkeley AI) —
Alkuperäinen