Kimi K2 maakt de grootste open-source modellen met wereldwijde parameters openbaar

Moonshot AI heeft de open-source release aangekondigd van haar model Kimi K2, het grootste open-source model ter wereld qua aantal parameters. Het model is al beschikbaar op verschillende cloudplatforms, waaronder Tencent Cloud, ModelScope, Replicate en CrossCompute. Kimi K2 heeft 1 biljoen parameters en gebruikt een innovatieve MoBA-architectuur (Mixture of Block Attention) die de verwerking van lange contexten optimaliseert. Het model is getraind op 15,5 biljoen tokens, wat zorgt voor hoge prestaties op het gebied van coderen, wiskunde en wetenschappelijke taken. Kimi K2 overtreft modellen zoals GPT-4o en Claude 3.5 Sonnet in verschillende tests, terwijl de inferentiekosten 7 keer lager liggen dan die van GPT-4o. Het model is beschikbaar voor commercieel gebruik onder een open-source licentie, waardoor ontwikkelaars en bedrijven het voor commerciële doeleinden kunnen inzetten.