Van GPT-2 tot Kimi K3: Schaal groeit 22.580x in zeven jaar, belangrijkste architectuurdraad bouwt een "geheugenbesturingssysteem"

Het artikel volgt zeven jaar architectuurevolutie, analyseert de technische veranderingen achter de schaalgroei van grote modellen en hoe Kimi K3 doorbreekt met nieuwe geheugenmechanismen die verder gaan dan traditionele Transformers. GPT-2 gebruikte een decoder-only architectuur met token- en positie-embeddings. KV Cache slaat sleutel-waardeparen op om herberekening te voorkomen. Lineaire Attention past featuremaps (bijvoorbeeld ELU+1) toe op q en k, en comprimeert KV-vectoren tot een state-matrix met vaste grootte. DeltaNet breidt Lineaire Attention uit met een deltaregel om het geheugen selectief bij te werken, waardoor informatie-interferentie wordt verminderd. Gated DeltaNet combineert Mamba's gating met de deltaregel en voegt een vervalparameter α toe. Kimi Linear verbetert Gated DeltaNet met fijnmazige kanaalsgewijze gating. Kimi K3's taalkern heeft 23 macrolussen, elk met drie Kimi Delta Attention-lagen en één Multi-Head Latent Attention-laag. Het gebruikt een dicht FFN in de eerste laag en Latent MoE in alle andere lagen. Kimi K3 heeft in totaal 898 experts; twee gedeelde experts verwerken elk token, en de router selecteert 16 experts per token uit de overige 896.