Mamba: Die Architektur, die Transformers besiegen sollte

Im Dezember 2023 stellten die Forscher Albert Gu und Tri Dao die Mamba-Architektur vor, die auf selektiven Zustandsraummodellen (State Space Models, SSMs) basiert. Im Gegensatz zu Transformatoren, bei denen jeder Token mit allen anderen verglichen wird (quadratische Komplexität O(N²)), verwendet Mamba einen einzelnen versteckten Zustand fester Größe, der sequentiell mit linearer Komplexität aktualisiert wird. Die entscheidende Neuerung ist ein selektiver Mechanismus: Die Zustandsaktualisierungsparameter (A, B, C) werden für jeden Token neu berechnet, sodass das Modell entscheiden kann, welche Informationen behalten und welche verworfen werden sollen – ähnlich dem Aufmerksamkeitsmechanismus, jedoch ohne quadratische Kosten. Dank der Assoziativität der Berechnungen kann das Mamba-Training parallelisiert werden, was das Problem des langsamen Trainings löst, das alten rekurrenten neuronalen Netzen (Recurrent Neural Networks, RNNs) innewohnt. Allerdings hat Mamba Nachteile: Der feste Zustand komprimiert Informationen, was die Fähigkeit zur präzisen Extraktion von Details und zum Kopieren im Vergleich zu Transformatoren verschlechtert, die explizit alle Token speichern. Daher hat Mamba Transformatoren nicht ersetzt, sondern wird in Hybridmodellen eingesetzt, bei denen etwa eine Aufmerksamkeitsschicht pro sieben Mamba-Schichten hinzugefügt wird. Diese Kombination bewahrt Mambas günstiges langes Gedächtnis und die präzise Abruffähigkeit der Transformatoren. Infolgedessen könnten viele moderne Modelle implizit Mamba verwenden.