GPT-2:stä Kimi K3:hon: Seitsemän vuotta 22 600-kertaista skaalausta – suurten mallien arkkitehtuurin päälinja rakentaa 'muistin käyttöjärjestelmää'

Artikkelissa käsitellään suurten kielimallien kehitystä OpenAI:n GPT-2:sta Moonshot AI:n Kimi K3:een, ja todetaan, että mallien koko on kasvanut kertoimella 22 600 seitsemän vuoden aikana. Siinä esitetään, että tärkein arkkitehtoninen suuntaus on 'muistikäyttöjärjestelmän' rakentaminen, joka hallinnoi kontekstia ja tietoa tehokkaasti. Kirjoitus todennäköisesti avaa, miten tämä muistikeskeinen lähestymistapa mahdollistaa pidemmän kontekstin ja monimutkaisemman päättelyn.