Kimi K3 pystyy pitämään sisällään 22 580 GPT-2-mallia: seitsemän vuoden kielimallien kehitys on muutakin kuin parametrien kasvua

Tuore analyysi, joka viittaa Moonshot AI:n Kimi K3 -malliin, korostaa suurten kielimallien merkittävää kehitystä viimeisen seitsemän vuoden aikana, ja toteaa, että edistys ei rajoitu pelkkään parametrien määrään. Tutkimus osoittaa, että Kimi K3:lla, joka on nykyaikainen malli, on kapasiteetti, joka vastaa 22 580 GPT-2-mallia, mikä havainnollistaa mallin koon dramaattista kasvua. Löydökset korostavat kuitenkin, että myös arkkitehtuurin parannukset, koulutuksen tehokkuus ja muut tekijät ovat olleet keskeisessä roolissa LLM-mallien kehityksessä, eivät pelkästään parametrien lisääntyminen.