Voorbij standaard LLM's: lineaire aandacht hybriden, tekst diffusiemodellen, code wereldmodellen en kleine recurrente transformatoren

De auteur, Sebastian Raschka, analyseert alternatieven voor standaard autoregressieve LLM's (large language models) op basis van transformers met een aandachtsmechanisme (attention). Onder de besproken benaderingen bevinden zich lineaire aandacht-hybrides, die de laatste tijd een opleving beleven. Hiertoe behoren MiniMax-M1 (456B parameters, MoE, Mixture of Experts, met lightning attention), Qwen3-Next (dat Gated DeltaNet en Gated Attention combineert in een verhouding van 3:1), DeepSeek V3.2 (schaarse aandacht, sublineaire complexiteit) en Kimi Linear (ook met Gated DeltaNet). MiniMax-M2 keerde echter terug naar standaardaandacht vanwege nauwkeurigheidsproblemen bij redeneertaken en multitasking. Verder worden tekstdiffusiemodellen genoemd, code-gebaseerde wereldmodellen (bijvoorbeeld voor het genereren van de spelstatus) en kleine recurrente transformers, zoals een 1,5B-model dat op syntactische analyse wordt vergeleken met GPT-4.