Mamba: Lineaarisen kompleksisuuden vaihtoehto Transformerille
Mamba on uusi arkkitehtuuri, joka perustuu tila-avaruusmalliin (State Space Model, SSM). Se tarjoaa suorituskyvyn, joka on verrattavissa Transformeriin, mutta lineaarisella kompleksisuudella sekvenssin pituuden suhteen ja viisi kertaa nopeammalla päättelyllä. Mamba korvaa Attention-mekanismin valikoivalla SSM:llä ja käsittelee tehokkaasti jopa miljoonan tokenin konteksteja.
Princeton University (Sengupta Lab)





























