Mamba: архитектура, которая шла убивать трансформеры
Moonshot AI
Архитектура Mamba, основанная на селективных пространствах состояний (SSM), была представлена как альтернатива трансформерам, обещая линейную сложность вместо квадратичной. Однако на практике Mamba не вытеснила трансформеры, а вошла в гибридные модели, где сочетается со слоями внимания: примерно один слой внимания на семь слоёв Mamba.
В декабре 2023 года исследователи Альберт Гу и Три Дао представили архитектуру Mamba, основанную на селективных моделях пространства состояний (SSM, selective state space models). В отличие от трансформеров, где каждый токен сравнивается со всеми остальными (квадратичная сложность O(N²)), Mamba использует единственное скрытое состояние фиксированного размера, которое обновляется последовательно с
Показать ещё ↓
Источник: Habr — хаб NLP —
оригинал