Sebastian Raschka julkaisi yksityiskohtaisen vertailun nykyaikaisten avoimien suurten kielimallien arkkitehtuureista, korostaen keskeisiä innovaatioita: Multi-Head Latent Attention (MLA) ja Mixture-of-Experts (MoE) DeepSeek V3:ssa sekä normalisointiominaisuudet OLMo 2:ssa. Artikkeli kattaa kehityksen GPT-2:sta vuoden 2025 malleihin.
DeepSeek
Allen Institute for AI
Artikkelissa tarkastellaan vaihtoehtoja tavallisille autoregressiivisille transformer-pohjaisille kielimalleille: lineaarisen attention hybridit (MiniMax-M1, Qwen3-Next, DeepSeek V3.2, Kimi Linear), tekstidiffuusiomallit, koodimaailmamallit ja pienet rekurrentit transformerit. Kirjoittaja huomauttaa paluusta klassiseen attentioniin MiniMax-M2:ssa ja lineaarisen attentionin monimutkaisuudesta tuotannossa.
Moonshot AI
MiniMax
Alibaba/Qwen
DeepSeek
Google/DeepMind
Mistral
Meta
Hugging Face
Allen Institute for AI
xAI
OpenAI
IBM
NVIDIA