Beyond Standard LLMs: Linear Attention Hybrids, Text Diffusion Models, Code World Models, and Small Recurrent Transformers

Sebastian Raschka menganalisis berbagai alternatif dari large language model (LLM) autoregresif berbasis transformer dengan mekanisme attention yang sudah menjadi standar selama ini. Salah satu pendekatan yang dibahas adalah hibrida linear attention, yang belakangan ini kembali mendapat perhatian. Beberapa contohnya antara lain MiniMax-M1 (456 miliar parameter, menggunakan arsitektur mixture of experts/MoE, dengan lightning attention), Qwen3-Next (yang memanfaatkan Gated DeltaNet dan Gated Attention dengan rasio 3:1), DeepSeek V3.2 (dengan sparse attention dan kompleksitas sublinear), serta Kimi Linear (yang juga menggunakan Gated DeltaNet). Namun, MiniMax-M2 justru kembali menggunakan standard attention karena adanya masalah akurasi dalam tugas-tugas reasoning dan multitasking. Selain itu, artikel ini juga menyinggung model difusi teks, code world model (misalnya untuk menghasilkan state dalam game), serta small recurrent transformer, seperti model berukuran 1,5 miliar parameter yang dibandingkan dengan GPT-4 dalam tugas syntactic parsing.