Mamba: Arkkitehtuuri, joka lähti syrjäyttämään Transformerit
Moonshot AI
Mamba-arkkitehtuuri, joka perustuu valikoiviin tila-avaruuksiin (Selective State Spaces, SSM), esiteltiin vaihtoehtona transformereille luvaten lineaarista kompleksisuutta neliöllisen sijasta. Käytännössä Mamba ei kuitenkaan syrjäyttänyt transformereita, vaan päätyi hybridimalleihin, joissa sitä käytetään yhdessä huomiokerrosten (attention layers) kanssa: suunnilleen yksi huomiokerros seitsemää Mamba-kerrosta kohden.
Joulukuussa 2023 tutkijat Albert Gu ja Tri Dao esittelivät Mamba-arkkitehtuurin, joka perustuu valikoiviin tilamallimalleihin (state space models, SSM). Toisin kuin transformereissa, joissa jokaista tokenia verrataan kaikkiin muihin (neliöllinen kompleksisuus O(N²)), Mamba käyttää yhtä kiinteän kokoista piilotilaa, jota päivitetään peräkkäisesti lineaarisella kompleksisuudella. Keskeinen innovaatio on valikoiva mekanismi: tilan päivitysparametrit (A, B, C) lasketaan uudelleen jokaiselle tokenille, mikä antaa mallille mahdollisuuden päättää, mitä tietoa säilyttää ja mitä hylätä, samankaltaisesti kuin huomiomekanismi (attention mechanism), mutta ilman neliöllisiä kustannuksia. Laskutoimitusten assosiatiivisuuden ansiosta Mamban harjoittaminen voidaan rinnakkaistaa, mikä ratkaisee vanhojen RNN-mallien hitaan harjoittamisen ongelman. Mamballa on kuitenkin haittapuolia: kiinteä tila pakkaa tietoa, heikentäen tarkkaa yksityiskohtien erottelua ja kopiointikykyä verrattuna transformereihin, jotka tallentavat kaikki tokenit eksplisiittisesti. Siksi Mamba ei ole korvannut transformereita, vaan sitä käytetään hybridimalleissa, joissa jokaista seitsemää Mamba-kerrosta kohti on lisätty noin yksi huomiokerros. Tämä yhdistelmä säilyttää Mamban edullisen pitkän muistin ja transformereiden tarkan haun. Tämän seurauksena monet nykyaikaiset mallit saattavat käyttää Mambaa implisiittisesti.
Lähde: Habr — хаб NLP —
Alkuperäinen