Mamba: A arquitetura que pretendia matar os Transformers

Em dezembro de 2023, os pesquisadores Albert Gu e Tri Dao apresentaram a arquitetura Mamba, baseada em modelos de espaço de estado seletivos (SSMs, na sigla em inglês). Diferentemente dos transformers, onde cada token é comparado com todos os outros (complexidade quadrática O(N²)), o Mamba usa um único estado oculto de tamanho fixo que é atualizado sequencialmente com complexidade linear. A principal inovação é um mecanismo seletivo: os parâmetros de atualização de estado (A, B, C) são recalculados para cada token, permitindo que o modelo decida quais informações reter e quais descartar, semelhante ao mecanismo de atenção, mas sem o custo quadrático. Graças à associatividade dos cálculos, o treinamento do Mamba pode ser paralelizado, resolvendo o problema de treinamento lento inerente às RNNs antigas. No entanto, o Mamba tem desvantagens: o estado fixo comprime informações, degradando a extração precisa de detalhes e a capacidade de cópia em comparação com os transformers, que armazenam explicitamente todos os tokens. Portanto, o Mamba não substituiu os transformers, mas é usado em modelos híbridos, onde aproximadamente uma camada de atenção é adicionada a cada sete camadas Mamba. Essa combinação preserva a memória longa barata do Mamba e a recuperação precisa dos transformers. Como resultado, muitos modelos modernos podem usar o Mamba implicitamente.