Mamba: ट्रांसफॉर्मर का एक लीनियर-कॉम्प्लेक्सिटी विकल्प
Mamba एक नया आर्किटेक्चर है जो स्टेट स्पेस मॉडल (एसएसएम) पर आधारित है, जो ट्रांसफॉर्मर के बराबर प्रदर्शन का वादा करता है, लेकिन अनुक्रम लंबाई में लीनियर कॉम्प्लेक्सिटी और 5x तेज़ इन्फ्रेंस के साथ। यह अटेंशन मैकेनिज्म को एक सेलेक्टिव एसएसएम से बदलता है, जो दस लाख टोकन तक के संदर्भों को कुशलतापूर्वक संभालता है।
Princeton University (Sengupta Lab)





























