Mamba: Eine linearkomplexe Alternative zum Transformer
Mamba, ein neues State-Space-Modell, bietet eine lineare Alternative zu Transformern und verspricht vergleichbare Leistung bei bis zu 5-mal schnellerer Inferenz sowie der Verarbeitung von Millionen-Token-Sequenzen. Es beseitigt den quadratischen Engpass der Aufmerksamkeit mithilfe eines selektiven Zustandsraum-Mechanismus.
Princeton University (Sengupta Lab)






