Mamba: Alternatif Kompleksitas Linear untuk Transformer
Princeton University (Sengupta Lab)
Mamba, sebuah Model Ruang Keadaan baru, menawarkan alternatif waktu linear untuk Transformer, menjanjikan performa yang sebanding dengan inferensi hingga 5 kali lebih cepat dan penanganan sekuens dengan jutaan token. Model ini menghilangkan hambatan kuadrat dari mekanisme perhatian menggunakan mekanisme ruang keadaan selektif.
Mamba adalah Selective State Space Model (SSM) yang bertujuan menggantikan mekanisme attention dalam Transformer. Model ini mencapai skala linear dalam panjang sekuens, memungkinkan pemrosesan konteks hingga jutaan token secara efisien. Mamba menggunakan SSM yang terinspirasi teori kontrol untuk komunikasi antar token dan mempertahankan MLP untuk komputasi. Mamba-3B mengungguli Transformer dengan ukuran yang sama dan menyamai model berukuran dua kali lipat dalam pretraining maupun tugas downstream. Keunggulan utamanya meliputi inferensi yang lebih cepat (hingga 5 kali lipat), jejak memori yang lebih kecil, serta kemampuan menangani sekuens yang sangat panjang. Mekanisme selektivitas memungkinkan transisi state yang bergantung pada input, meningkatkan efektivitas dibandingkan SSM tradisional.
Sumber: The Gradient —
asli