Mamba：一种线性复杂度的Transformer替代方案

Mamba是一种选择性状态空间模型（SSM），旨在取代Transformer中的注意力机制。它实现了与序列长度成线性关系，从而能高效处理长达百万token的上下文。该模型采用受控制理论启发的SSM进行token间的通信，并保留MLP进行计算。Mamba-3B在预训练和下游任务中性能优于同等规模的Transformer，且可媲美两倍大小的模型。主要优势包括更快的推理速度（最高达5倍）、更低的内存占用以及处理超长序列的能力。选择机制允许输入相关的状态转换，从而提升了相对于传统SSM的有效性。