Kimi K3:n käyttöönotto Amazon SageMaker HyperPodissa ja Amazon EKS:ssä

Moonshot AI on julkaissut avoimilla painoilla varustetun Kimi K3 -mallin, joka sisältää 2,8 biljoonaa parametria ja on ensimmäinen avoin järjestelmä, joka yltää kolmen biljoonan parametrin luokkaan. Arkkitehtuuri sisältää Kimi Delta Attentionin, Gated Multi Head Latent Attentionin ja Stable LatentMoEn, jotka aktivoivat 16 asiantuntijaa 896:sta tokenia kohden, mikä tuottaa 104 miljardia aktiivista parametria. Malli tukee miljoonan tokenin kontekstia ja on multimodaalinen (teksti ja kuvat). Painot ovat saatavilla Hugging Facessa MXFP4-muodossa, ja päättelyä varten suositellaan vLLM:ää. Käyttöönotto vaatii p6-b300-instansseja, joissa on 8 NVIDIA B300 Blackwell Ultra -GPU:ta. AWS tarjoaa kaksi tapaa: SageMaker HyperPod Inference Operatorilla ja itsenäisen Amazon EKS:n Capacity Blocksilla. Molemmat tavat tarjoavat OpenAI-yhteensopivan API:n kutsuja varten. Artikkeli sisältää yksityiskohtaiset vaiheet kumpaakin vaihtoehtoa varten, mukaan lukien klusterin luonnin, kapasiteetin varaamisen, ajureiden asennuksen ja vLLM:n käyttöönoton sekä suositukset resurssien siivoamiseen.