Mamba: Eine linearkomplexe Alternative zum Transformer
Princeton University (Sengupta Lab)
Mamba, ein neues State-Space-Modell, bietet eine lineare Alternative zu Transformern und verspricht vergleichbare Leistung bei bis zu 5-mal schnellerer Inferenz sowie der Verarbeitung von Millionen-Token-Sequenzen. Es beseitigt den quadratischen Engpass der Aufmerksamkeit mithilfe eines selektiven Zustandsraum-Mechanismus.
Mamba ist ein Selectiv State Space Model (SSM), das darauf abzielt, den Aufmerksamkeitsmechanismus in Transformatoren zu ersetzen. Es erreicht eine lineare Skalierung in der Sequenzlänge und ermöglicht so die effiziente Verarbeitung von Kontexten mit bis zu einer Million Token. Das Modell verwendet ein von der Kontrolltheorie inspiriertes SSM für die Kommunikation zwischen Tokens und behält MLPs (mehrschichtige Perzeptronen) für die Berechnung bei. Mamba-3B übertrifft Transformatoren derselben Größe und schneidet bei Vorhersagen sowie nachgelagerten Aufgaben ebenso gut ab wie doppelt so große Modelle. Zu den wichtigsten Vorteilen gehören eine schnellere Inferenz (bis zu 5-mal schneller), ein geringerer Speicherbedarf und die Fähigkeit, sehr lange Sequenzen zu verarbeiten. Der Selektivitätsmechanismus ermöglicht eingabeabhängige Zustandsübergänge und verbessert so die Effektivität gegenüber traditionellen SSMs.
Quelle: The Gradient —
Original