Mamba: Mô Hình Không Gian Trạng Thái Tuyến Tính Thay Thế Transformer
Princeton University (Sengupta Lab)
Mamba, một mô hình không gian trạng thái mới, cung cấp giải pháp thay thế có độ phức tạp tuyến tính cho Transformer, hứa hẹn hiệu suất tương đương với tốc độ suy luận nhanh hơn tới 5 lần và khả năng xử lý chuỗi triệu token. Nó loại bỏ nút thắt cổ chai bậc hai của cơ chế attention bằng cách sử dụng cơ chế không gian trạng thái chọn lọc.
Mamba là một mô hình không gian trạng thái có chọn lọc (SSM) nhằm thay thế cơ chế chú ý trong Transformer. Nó đạt được khả năng mở rộng tuyến tính theo độ dài chuỗi, cho phép xử lý hiệu quả các ngữ cảnh lên đến triệu token. Mô hình sử dụng SSM lấy cảm hứng từ lý thuyết điều khiển để giao tiếp giữa các token và giữ lại các MLP (perceptron đa tầng) để tính toán. Mamba-3B vượt trội so với Transformer cùng kích thước và ngang bằng với các mô hình có kích thước gấp đôi trong các tác vụ tiền huấn luyện và xuôi dòng. Ưu điểm chính bao gồm suy luận nhanh hơn (lên đến 5 lần), bộ nhớ thấp hơn và khả năng xử lý các chuỗi rất dài. Cơ chế chọn lọc cho phép chuyển đổi trạng thái phụ thuộc vào đầu vào, cải thiện hiệu quả so với các SSM truyền thống.
Nguồn: The Gradient —
bản gốc