Kimi K3 avoimen lähdekoodin julkaisu: Anthropic vihdoin paljastaa korttinsa

Moonshot AI on avannut Kimi K3 -mallin lähdekoodin, jonka vertailuarvoissa suoriutuminen on verrattavissa Anthropicin Claude Sonnet 4 -malliin. Avoimen lähdekoodin julkaisu sisältää mallin painot ja teknisen raportin. Raportti paljastaa, että Anthropic on ottanut käyttöön skaalatun version Chinchilla-optimaalisesta suhteesta, mikä tukee suurempaa eräkokoa ja korkeampaa oppimisnopeutta tehokkaampaa koulutusta varten. Kimi K3 perustuu sekoitettuihin asiantuntijoihin (MoE) -arkkitehtuuriin, jossa on yhteensä 48 asiantuntijaa ja 2 aktiivista asiantuntijaa kutakin tokenia kohden, ja 37 miljardia aktivoitua parametria yhteensä 264 miljardista parametrista. Malli on suunniteltu skaalautuvuutta ja tehokkuutta varten, ja siinä on 128K kontekstin pituus ja FP8-sekatarkkuuskoulutus. Kimi K3:n avoimen lähdekoodin julkaisua pidetään askeleena kohti kehittyneen tekoälyn saatavuuden demokratisointia ja haastamaan vakiintuneita toimijoita, kuten Anthropic ja OpenAI.