Mamba: een lineair-complex alternatief voor de Transformer
Princeton University (Sengupta Lab)
Mamba, een nieuw State Space Model, biedt een lineair-tijd alternatief voor Transformers, met vergelijkbare prestaties en tot 5x snellere inferentie, plus verwerking van sequenties met miljoenen tokens. Het verwijdert de kwadratische bottleneck van aandacht door een selectief state-space mechanisme te gebruiken.
Mamba is een Selectief Toestandsruimtemodel (SSM, van Selective State Space Model) dat het aandachtsmechanisme in Transformers wil vervangen. Het bereikt lineaire schaling in sequentielengte, waardoor efficiënte verwerking van contexten van wel een miljoen tokens mogelijk wordt. Het model gebruikt een door regeltechniek geïnspireerd SSM voor inter-tokencommunicatie en behoudt MLP's (meerlaagse perceptrons, van multi-layer perceptrons) voor berekening. Mamba-3B presteert beter dan Transformers van dezelfde grootte en evenaart modellen van twee keer zo groot in voorbereidingstraining en downstreamtaken. Belangrijke voordelen zijn snellere inferentie (tot 5 keer), lager geheugengebruik en de mogelijkheid om zeer lange sequenties te verwerken. Het selectiviteitsmechanisme maakt van invoer afhankelijke toestandsovergangen mogelijk, wat de effectiviteit ten opzichte van traditionele SSM's verbetert.
Bron: The Gradient —
origineel