2,8 biljoonaa parametria ei ole päätepiste: Kotimainen malli Kimi K4 tavoittelee äärimmäistä kokoa, GPU:ista tulee pullonkaula
Moonshot AI
Kotimainen tekoälymallien startup Moonshot AI on julkaissut Kimi K4:n, suuren kielimallin, jolla on raportoidusti 2,8 biljoonaa parametria, ja suunnittelee skaalaavansa sitä edelleen. Yritys toteaa, että GPU-tarjonta on nyt ensisijainen pullonkaula suurempien mallien kouluttamiselle.
Moonshot AI, kiinalainen startup Kimi K -sarjan takana, ilmoitti julkaisevansa uusimman mallinsa Kimi K4:n, väittäen sen olevan 2,8 biljoonaa parametria. Tämä tekee siitä yhden suurimmista tiheistä malleista, joita on raportoitu. Yritys ilmoitti, ettei tämä ole katto; he aikovat jatkaa mallin koon skaalaamista. He kuitenkin mainitsivat korkean suorituskyvyn GPU:iden saatavuuden olevan pääasiallinen rajoittava tekijä laajentumiselle. Nykyinen malli koulutettiin tuhansilla NVIDIA H800 -GPU:illa, ja kehittyneemmän laitteiston hankkiminen on haastavaa vientirajoitusten ja kotimaisten tarjontarajoitteiden vuoksi.
Lähde: DeepSeek (GNews) —
Alkuperäinen