Mamba: De Architectuur Die Transformers Wilde Doden

In december 2023 introduceerden onderzoekers Albert Gu en Tri Dao de Mamba-architectuur, gebaseerd op selective state space models (SSM’s). In tegenstelling tot transformatoren, waar elke token met alle andere wordt vergeleken (kwadratische complexiteit O(N²)), gebruikt Mamba een vaste verborgen toestand van vaste grootte die sequentieel wordt bijgewerkt met lineaire complexiteit. De belangrijkste vernieuwing is een selectief mechanisme: de parameters voor het bijwerken van de toestand (A, B, C) worden voor elke token opnieuw berekend, waardoor het model kan beslissen welke informatie het wil bewaren en welke het wil weggooien, vergelijkbaar met het aandachtsmechanisme maar zonder kwadratische kosten. Dankzij de associativiteit van berekeningen kan de training van Mamba worden geparalleliseerd, wat het langzame trainingsprobleem van oude recurrente neurale netwerken (RNN’s) oplost. Mamba heeft echter nadelen: de vaste toestand comprimeert informatie, wat het vermogen om precieze details te extraheren en te kopiëren aantast in vergelijking met transformatoren, die expliciet alle tokens opslaan. Daarom heeft Mamba transformatoren niet vervangen, maar wordt het gebruikt in hybride modellen, waar ruwweg één aandachtlaag wordt toegevoegd voor elke zeven Mamba-lagen. Deze combinatie behoudt zowel Mamba’s goedkope lange geheugen als transformatoren’s nauwkeurige ophaalvermogen. Als gevolg hiervan kunnen veel moderne modellen impliciet Mamba gebruiken.