Mamba: альтернатива Transformer с линейной сложностью
Princeton University (Sengupta Lab)
Mamba, новая модель пространства состояний (State Space Model), предлагает альтернативу Transformer с линейной временной сложностью, обеспечивая сопоставимую производительность при скорости инференса до 5 раз выше и работы с последовательностями до миллиона токенов. Она устраняет квадратичное узкое место механизма внимания с помощью селективного механизма пространства состояний.
Mamba — это селективная модель пространства состояний (State Space Model, SSM), призванная заменить механизм внимания в трансформерах. Она обеспечивает линейное масштабирование по длине последовательности, что позволяет эффективно обрабатывать контексты длиной до миллиона токенов. Модель использует SSM, вдохновлённую теорией управления, для обмена информацией между токенами, а для вычислений
Показать ещё ↓
Источник: The Gradient —
оригинал