Mamba: Doğrusal Karmaşıklıkta Bir Transformer Alternatifi
Princeton University (Sengupta Lab)
Mamba, yeni bir Durum Uzayı Modeli olarak, Transformer'lara doğrusal zamanlı bir alternatif sunuyor. Karşılaştırılabilir performans, 5 kata kadar daha hızlı çıkarım ve milyon-token uzunluğundaki dizileri işleme vaat ediyor. Seçici durum-uzayı mekanizmasıyla dikkat mekanizmasının ikinci dereceden darboğazını ortadan kaldırıyor.
Mamba, Transformer'lardaki dikkat mekanizmasının yerini almayı hedefleyen Seçici Durum Uzayı Modeli'dir (SSM). Dizi uzunluğunda doğrusal ölçekleme sağlayarak milyonluk token bağlamlarına kadar verimli işleme olanağı tanır. Model, tokenlar arası iletişim için bir kontrol teorisi esinli SSM kullanır ve hesaplama için MLP'leri (çok katmanlı algılayıcılar) muhafaza eder. Mamba-3B, aynı boyuttaki Transformer'lardan daha iyi performans gösterir ve ön eğitim ile alt görevlerde iki kat büyük modellerle eşleşir. Temel avantajlar arasında daha hızlı çıkarım (5 kata kadar), daha düşük bellek kullanımı ve çok uzun dizileri işleme yeteneği bulunur. Seçicilik mekanizması, girdiye bağlı durum geçişlerine izin vererek geleneksel SSM'lere kıyasla etkinliği artırır.
Kaynak: The Gradient —
orijinal