Mamba: Arsitektur yang Bertujuan Menggantikan Transformer

Pada Desember 2023, peneliti Albert Gu dan Tri Dao memperkenalkan arsitektur Mamba, yang didasarkan pada model ruang keadaan selektif (SSM). Berbeda dengan transformer, di mana setiap token dibandingkan dengan semua token lainnya (kompleksitas kuadratik O(N²)), Mamba menggunakan satu keadaan tersembunyi berukuran tetap yang diperbarui secara sekuensial dengan kompleksitas linear. Inovasi utamanya adalah mekanisme selektif: parameter pembaruan keadaan (A, B, C) dihitung ulang untuk setiap token, memungkinkan model memutuskan informasi apa yang akan dipertahankan dan apa yang akan dibuang, mirip dengan mekanisme perhatian tetapi tanpa biaya kuadratik. Berkat asosiatif komputasi, pelatihan Mamba dapat diparalelkan, mengatasi masalah pelatihan lambat yang melekat pada RNN lama. Namun, Mamba memiliki kelemahan: keadaan tetap mengompresi informasi, menurunkan kemampuan ekstraksi detail dan penyalinan yang presisi dibandingkan transformer, yang secara eksplisit menyimpan semua token. Oleh karena itu, Mamba belum menggantikan transformer tetapi digunakan dalam model hibrida, di mana sekitar satu lapisan perhatian ditambahkan untuk setiap tujuh lapisan Mamba. Kombinasi ini mempertahankan memori jangka panjang yang murah dari Mamba dan pengambilan presisi dari transformer. Akibatnya, banyak model modern mungkin menggunakan Mamba secara implisit.