माम्बा: ट्रांसफॉर्मर का लीनियर-कॉम्प्लेक्सिटी विकल्प

मांबा एक चयनात्मक राज्य अंतरिक्ष मॉडल (SSM) है जो ट्रांसफॉर्मर में ध्यान तंत्र को बदलने का लक्ष्य रखता है। यह अनुक्रम लंबाई में रैखिक स्केलिंग प्राप्त करता है, जो दस लाख टोकन तक के संदर्भों को कुशलतापूर्वक प्रसंस्करण करने में सक्षम बनाता है। मॉडल इंटर-टोकन संचार के लिए नियंत्रण-सिद्धांत-प्रेरित SSM का उपयोग करता है और गणना के लिए MLP को बनाए रखता है। मांबा-3B समान आकार के ट्रांसफॉर्मर से बेहतर प्रदर्शन करता है और प्रीट्रेनिंग तथा डाउनस्ट्रीम कार्यों में दोगुने आकार के मॉडलों से मेल खाता है। मुख्य लाभों में तेज़ अनुमान (5 गुना तक), कम मेमोरी फुटप्रिंट, और बहुत लंबे अनुक्रमों को संभालने की क्षमता शामिल है। चयनात्मकता तंत्र इनपुट-निर्भर राज्य संक्रमणों की अनुमति देता है, जो पारंपरिक SSM की तुलना में प्रभावशीलता में सुधार करता है।