Miten Kimi K3 toimii: 2,8 biljoonaa parametria, lineaarinen huomio ja miljoonan tokenin agentit

Moonshot AI on julkaissut uuden Kimi K3 -mallinsa painot. Malli on rakennettu MoE-arkkitehtuurille (sekoitus asiantuntijoita), ja sen kokonaisparametrimäärä on 2,8 biljoonaa, joista jokaisella tokenilla aktiivisina on 104 miljardia. Yksittäisissä ohjelmointi- ja työkalujen käyttöön liittyvissä vertailutesteissä K3 saavuttaa Claude Opus 4.8:a, GPT-5.5:tä, GPT-5.6 Solia ja Claude Fable 5:tä parempia tuloksia, mutta yritys itse myöntää teknisessä raportissaan, että malli on keskimäärin heikompi kuin Fable 5 ja GPT-5.6 Sol. Moonshotin teknisen blogin mukaan K3-arkkitehtuuri on suunniteltu yhtenäiseksi järjestelmäksi: siinä käytetään hybridiä, joka yhdistää Kimi Delta Attentionin ja globaalin MLA:n (monipäinen latentti tarkkailu), Attention Residuals -mekanismia, 896 asiantuntijan MoE:ta sekä erityistä pitkien agenttipolkujen koulutusta ja erillistä välimuistijärjestelmää. Tämä kokonaisvaltainen lähestymistapa mahdollistaa mallin työskentelyn jopa miljoonan tokenin kontekstipituudella ja monimutkaisten agenttitehtävien suorittamisen. Osa Moonshotin väitteistä ei kuitenkaan ole vielä vahvistettu riippumattomilla testeillä, vaan ne perustuvat yrityksen omiin tietoihin.