Moonshot AI julkaisee suositun Kimi-K3-mallin painot – lähes markkinajohtajien tasoa, mutta paljon yksinkertaisempi suorittaa

Moonshot AI on julkaissut Kimi-K3-mallinsa painot vapaasti saataville, jolloin kuka tahansa riittävällä laskentateholla voi ajaa sitä paikallisesti. Malli suoriutuu huomattavasti paremmin kuin OpenAI:n GPT:n ja Anthropic Clauden aiemmat sukupolvet, ja se on vain hieman jäljessä uusimmista Sol- ja Fable-malleista. Kimi-K3:n käyttökustannukset ovat kaksi–kolme kertaa halvemmat kuin amerikkalaisilla vastineilla, ja välimuistiosumien myötä koodaustehtävissä kustannukset laskevat 0,30 dollariin miljoonalta tokenilta verrattuna kolmen dollarin vakiosyöttöhintaan. Tehokkuus johtuu todennäköisesti MXFP4:n käytöstä painojen tallennukseen ja MXFP8:n käytöstä aktivointiin, jotka molemmat ovat matalan tarkkuuden formaatteja, jotka säästävät muistia. Sen 2,8 biljoonasta parametristä vain 104,2 miljardia on aktiivisia samanaikaisesti. Malli on suunniteltu toimimaan Nvidia H20 -kiihdyttimillä, joilta puuttuu natiivisti MX-liukulukutuki, mutta se saattaa toimia vielä tehokkaammin Blackwell-siruilla. Kimi-K3 korvaa avain-arvo-välimuistin kiinteän koon tilankäsittelijällä, jota kutsutaan Kimi Delta Attentioniksi, ja käyttää MoE-arkkitehtuuria, jossa aktivoituu vain 16 896:sta asiantuntijasta. Vain painot ovat kuitenkin avoimia; koulutusprosessi ja tietoaineisto pysyvät omaisuutena.