Car-GPT: Voisivatko suuret kielimallit vihdoin toteuttaa itseajavat autot?
OpenAI
Meta
Wayve
xAI
Artikkelissa tutkitaan suurten kielimallien (Large Language Models, LLM) mahdollisuuksia mullistaa autonomista ajamista, ja tehdään rinnastus Alexander Flemingin sattumanvaraiseen penisilliinin löytöön. Siinä selitetään, miten LLM-malleja, tokenisoinnin, transformereiden ja seuraavan sanan ennustuksen avulla, voidaan mukauttaa itseajamisen tehtäviin, kuten havainnointiin, suunnitteluun ja generointiin. Luottamus- ja musta laatikko -ongelmat ovat kuitenkin edelleen ratkaisematta, ja on liian aikaista sanoa, tulevatko LLM-mallit olemaan avain täysin autonomisiin ajoneuvoihin.
Artikkelissa verrataan nykytilannetta itseohjautuvien autojen tutkimuksessa penisilliinin sattumanvaraiseen löytämiseen ja ehdotetaan, että suuret kielimallit (LLM) saattavat olla odottamaton läpimurto. Siinä selitetään, että perinteinen autonomisen ajon toteutus käyttää modulaarista lähestymistapaa (havainnointi, paikannus, suunnittelu, ohjaus), kun taas päästä päähän -oppiminen korvaa kaikki moduulit yhdellä hermoverkolla, mikä luo mustan laatikon ongelman. Suuret kielimallit toimivat tokenisoinnin (tekstin muuntaminen numeroiksi), transformereiden (huomiomekanismiin perustuva arkkitehtuuri) ja seuraavan sanan ennustamisen avulla. Itseohjautuvassa ajossa syötteinä voivat olla kuvat tai anturidata, jotka tokenisoidaan samalla tavalla, ja tehtäviin kuuluvat havainnointi (tunnistus, ennustaminen, seuranta), suunnittelu (päätöksenteko, navigointi) ja generointi (harjoitusdatan tai skenaarioiden luominen). Esimerkkejä kuten Talk2BEV ja DriveGPT käyttävät suuria kielimalleja parantaakseen BEV-havainnointia ja suunnitellakseen liikeratoja, kun taas GAIA-1 ja MagicDrive tuottavat videoita tai kohtauksia. Huolia hallusinaatioista ja determinismin puutteesta on kuitenkin olemassa, mikä tekee suurten kielimallien luotettavuudesta reaaliaikaisessa ajossa epävarmaa, ja on liian aikaista tehdä johtopäätöksiä.
Lähde: The Gradient —
Alkuperäinen