NVIDIA Cosmos 3: Avoimet maailmamallit fyysisen tekoälyn perustana
NVIDIA
NVIDIA esitteli Cosmos 3:n, avoimen fyysisen tekoälyn perusmalliperheen, joka perustuu sekoitettuihin transformeriarkkitehtuureihin ja yhdistää näköpäättelyn, maailman generoinnin ja toiminnan ennustamisen. Malliperhe pyrkii mahdollistamaan kehittäjille järjestelmien erikoistamisen robotiikkaan, autonomisiin ajoneuvoihin ja näkötekoälyyn, ja se on saavuttanut huippusijoituksia useissa vertailuluokissa.
NVIDIA on julkaissut Cosmos 3:n, huippuluokan avoimen fysikaalisen tekoälyn perus-omnimallin, joka perustuu sekoitettuun transformeriarkkitehtuuriin. Se yhdistää näkymän ymmärtämisen, maailman generoinnin ja toiminnan ennustamisen, mikä mahdollistaa kehittäjille yhden malliperheen käytön näkymän ymmärtämiseen, synteettisen datan tuottamiseen, tulevien tilojen simulointiin sekä erikoistuneiden maailman toimintamallien rakentamiseen. Malliperheeseen kuuluvat Cosmos 3 Super (64B) korkean tarkkuuden maailman mallinnukseen, Cosmos 3 Nano (16B) tehokkaaseen päättelyyn ja jälkikoulutukseen sekä Cosmos 3 Edge (4B) laitteessa tapahtuvaan näkymän päättelyyn ja robottipolitiikan käyttöönottoon. Mallit ovat käytettävissä NVIDIA RTX -näytönohjaimilla, DGX-järjestelmissä ja Jetson-alustoilla. Vertailutestien mukaan Cosmos 3 on ensimmäinen Artificial Analysis -listalla avoimien painojen osalta tekstistä kuvaksi ja kuvasta videoksi -generoinnissa, PAI-Bench-listalla maailman generoinnissa ja Physics-IQ:n kuvasta videoksi -kategoriassa. Robottipolitiikassa se on ensimmäinen RoboLab-listalla, ja Cosmos 3 Super on korkeimmalle sijoittuva avoin malli VANTAGE-Bench-listalla näkymän ymmärtämisessä. NVIDIA Cosmos -maailman perusmallit ovat saatavilla Linux Foundationin OpenMDW 1.1 -lisenssillä, mikä mahdollistaa tiimeille mallien jälkikoulutuksen omalla datallaan ja laitteistollaan. NVIDIAn fysikaalisen tekoälyn pinohon kuuluvat myös Isaac GR00T -robotiikkaan, Alpamayo -autonomisiin ajoneuvoihin ja Metropolis -näkötekoälyyn. Yritykset, kuten Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI, Li Auto, Xiaomi, Afari, Centific, Fogsphere, Linker Vision, Milestone Systems ja Yuan, rakentavat NVIDIAn Cosmos-alustan päälle fysikaalisen tekoälyn sovelluksia. NVIDIA Cosmos -koalitio, joka on äskettäin laajentunut Japaniin, kokoaa yhteen maailmanmallien rakentajia, tekoälyn kehittäjiä ja fysikaalisen tekoälyn johtajia tuomaan malleja, tutkimusta ja arviointimenetelmiä.
Lähde: NVIDIA blog —
Alkuperäinen