Suuret mallit palaavat parametrikilpailuun: 2 biljoonaa on standardi, onko 3 biljoonaa seuraava pysäkki?
Kiinalaiset suuret mallit ovat palaamassa parametrikilpailuun, ja 2 biljoonaa parametria on tulossa yleiseksi standardiksi, kun taas 3 biljoonaa nähdään seuraavana virstanpylväänä. Tämä suuntaus johtuu kilpailupaineista ja uskomuksesta, että suuremmat mallit tuottavat parempia tuloksia, mutta se herättää myös huolta laskentakustannuksista ja tehokkuudesta.
Artikkelissa kerrotaan, että kiinalainen suurten kielimallien toimiala keskittyy jälleen parametrien kasvattamiseen, ja kahdesta biljoonasta parametrista on tulossa uusi perustaso huippumalleille. Alan sisäpiiriläiset vihjaavat, että seuraava tavoite on kolme biljoonaa parametria, mikä heijastaa uutta painotusta pelkän mallin koon korostamiseen keskeisenä kilpailuetuna. Tämä muutos tulee ajanjakson jälkeen, jolloin tehokkuus ja pienemmät mallit olivat etusijalla, mutta nyt mittakaavakilpailu on taas käynnissä, ja sitä ohjaa oletus, että suuremmat mallit tuottavat parempia ominaisuuksia. Tämä suunta tuo kuitenkin myös merkittäviä haasteita, kuten valtavia laskentaresurssitarpeita, korkeita koulutuskustannuksia ja tarpeen kehittyneemmille optimointitekniikoille. Suuntaus on havaittavissa suurissa kiinalaisissa tekoälyyrityksissä, jotka investoivat voimakkaasti pysyäkseen mukana maailmanlaajuisessa tekoälykilpailussa. Asiantuntijat varoittavat, että pelkkä parametrien lisääminen ei välttämättä takaa parempaa suorituskykyä, ja enemmän huomiota tulisi kiinnittää datan laatuun ja algoritmi-innovaatioihin.
Lähde: Moonshot Kimi (GNews) —
Alkuperäinen