Beyond Standard LLMs: Linear Attention Hybrids, Text Diffusion, Code World Models, and Small Recursive Transformers
Moonshot AI
MiniMax
Alibaba/Qwen
DeepSeek
Google/DeepMind
Mistral
Meta
Hugging Face
Allen Institute for AI
xAI
OpenAI
IBM
NVIDIA
Artikel oleh Sebastian Raschka mengeksplorasi alternatif untuk LLM transformer autoregresif standar, termasuk hibrida perhatian linear (misalnya, MiniMax-M1, Qwen3-Next, DeepSeek V3.2, Kimi Linear), model difusi teks, model dunia kode, dan transformer rekursif kecil. Artikel ini membahas kebangkitan mekanisme perhatian linear dan tantangannya, seperti MiniMax yang kembali ke perhatian standar di model M2-nya karena kinerja yang buruk pada tugas penalaran.
Sebastian Raschka membahas alternatif terhadap transformer autoregresif standar berbasis decoder yang dibangun di atas multi-head attention. Beberapa model yang menonjol antara lain MiniMax-M1 dengan lightning attention, Qwen3-Next dengan Gated DeltaNet dan Gated Attention, DeepSeek V3.2 dengan sparse attention, serta Kimi Linear. Namun, MiniMax kembali menggunakan regular attention pada model M2 mereka dengan alasan akurasi yang buruk dalam tugas penalaran dan multi-percakapan. Qwen3-Next dan Kimi Linear menggunakan rasio 3:1 antara linear attention (Gated DeltaNet) dan full attention (Gated Attention). Gated DeltaNet menggabungkan Mamba2 dengan aturan delta untuk pembaruan state berulang. Artikel tersebut juga menyebutkan alternatif lain seperti model difusi teks, code world models, dan transformer rekursif kecil, tetapi tidak merincinya.
Sumber: Sebastian Raschka —
asli