Car-GPT: Voisivatko suuret kielimallit vihdoin toteuttaa itseohjautuvat autot?
OpenAI
Meta
Wayve
xAI
Artikkelissa tutkitaan suurten kielimallien (Large Language Models, LLM) potentiaalia mullistaa autonominen ajaminen, vedoten rinnastukseen Alexander Flemingin sattumanvaraiseen penisilliinin löytöön. Siinä selitetään, kuinka LLM:itä, tokenisoinnin, transformereiden ja seuraavan sanan ennustuksen avulla, voidaan soveltaa itseohjautuvan ajon tehtäviin, kuten hahmontamiseen, suunnitteluun ja generointiin. Luottamus- ja musta laatikko -ongelmat ovat kuitenkin edelleen ratkaisematta, ja on liian aikaista sanoa, tulevatko LLM:t olemaan avain täysin autonomisiin ajoneuvoihin.
Artikkelissa verrataan nykytilannetta itseohjautuvien autojen tutkimuksessa penisilliinin sattumanvaraiseen löytämiseen ja ehdotetaan, että suuret kielimallit (LLM) saattavat olla odottamaton läpimurto. Siinä selitetään, että perinteinen autonomisen ajon toteutus käyttää modulaarista lähestymistapaa (havainnointi, paikannus, suunnittelu, ohjaus), kun taas päästä päähän -oppiminen korvaa kaikki moduulit yhdellä hermoverkolla, mikä luo mustan laatikon ongelman. Suuret kielimallit toimivat tokenisoinnin (tekstin muuntaminen numeroiksi), transformereiden (huomiomekanismiin perustuva arkkitehtuuri) ja seuraavan sanan ennustamisen avulla. Itseohjautuvassa ajossa syötteinä voivat olla kuvat tai anturidata, jotka tokenisoidaan samalla tavalla, ja tehtäviin kuuluvat havainnointi (tunnistus, ennustaminen, seuranta), suunnittelu (päätöksenteko, navigointi) ja generointi (harjoitusdatan tai skenaarioiden luominen). Esimerkkejä kuten Talk2BEV ja DriveGPT käyttävät suuria kielimalleja parantaakseen BEV-havainnointia ja suunnitellakseen liikeratoja, kun taas GAIA-1 ja MagicDrive tuottavat videoita tai kohtauksia. Huolia hallusinaatioista ja determinismin puutteesta on kuitenkin olemassa, mikä tekee suurten kielimallien luotettavuudesta reaaliaikaisessa ajossa epävarmaa, ja on liian aikaista tehdä johtopäätöksiä.
Lähde: The Gradient —
Alkuperäinen