Mamba : l'architecture qui visait à tuer les transformers

En décembre 2023, les chercheurs Albert Gu et Tri Dao ont présenté l'architecture Mamba, basée sur des modèles d'espace d'état sélectifs (SSM). Contrairement aux transformeurs, où chaque jeton est comparé à tous les autres (complexité quadratique O(N²)), Mamba utilise un unique état caché de taille fixe qui est mis à jour séquentiellement avec une complexité linéaire. L'innovation clé réside dans un mécanisme sélectif : les paramètres de mise à jour de l'état (A, B, C) sont recalculés pour chaque jeton, permettant au modèle de décider quelles informations retenir et lesquelles ignorer, à la manière du mécanisme d'attention mais sans coût quadratique. Grâce à l'associativité des calculs, l'entraînement de Mamba peut être parallélisé, résolvant le problème de l'entraînement lent inhérent aux anciens RNN. Cependant, Mamba présente des inconvénients : l'état fixe comprime l'information, ce qui dégrade l'extraction précise des détails et la capacité de copie par rapport aux transformeurs, qui stockent explicitement tous les jetons. Par conséquent, Mamba n'a pas remplacé les transformeurs, mais est utilisé dans des modèles hybrides, où environ une couche d'attention est ajoutée pour sept couches Mamba. Cette combinaison préserve la mémoire longue peu coûteuse de Mamba et la récupération précise des transformeurs. Ainsi, de nombreux modèles modernes peuvent implicitement utiliser Mamba.