Car-GPT: Kunnen LLM's eindelijk zelfrijdende auto's realiseren?
OpenAI
Meta
Wayve
xAI
Het artikel onderzoekt het potentieel van grote taalmodellen (Large Language Models, LLM's) om autonoom rijden te revolutioneren, waarbij een parallel wordt getrokken met Alexander Flemings toevallige ontdekking van penicilline. Het legt uit hoe LLM's, via tokenisatie, transformators en voorspelling van het volgende woord, kunnen worden aangepast voor zelfrijdende taken zoals perceptie, planning en generatie. Vertrouwens- en black-box-problemen blijven echter onopgelost, en het is te vroeg om te zeggen of LLM's de sleutel zullen zijn tot volledig autonome voertuigen.
Het artikel vergelijkt de huidige stand van onderzoek naar zelfrijdende auto's met de toevallige ontdekking van penicilline en suggereert dat Large Language Models de onverwachte doorbraak zouden kunnen zijn. Het legt uit dat traditioneel autonoom rijden gebruikmaakt van een modulaire aanpak (perceptie, lokalisatie, planning, besturing), terwijl end-to-end learning alle modules vervangt door één enkel neuraal netwerk, wat een black-boxprobleem creëert. LLM's werken via tokenisatie (tekst omzetten naar getallen), transformers (aandachtsgebaseerde architectuur) en next-word prediction. Voor zelfrijdende auto's kunnen inputs afbeeldingen of sensorgegevens zijn die op dezelfde manier worden getokeniseerd, en taken omvatten perceptie (detectie, voorspelling, tracking), planning (besluitvorming, navigatie) en generatie (het creëren van trainingsdata of scenario's). Voorbeelden zoals Talk2BEV en DriveGPT gebruiken LLM's om BEV-perceptie te verbeteren en trajecten te plannen, terwijl GAIA-1 en MagicDrive video's of scènes genereren. Er bestaan echter zorgen over hallucinaties en gebrek aan déterminisme, wat het vertrouwen in LLM's voor realtime rijden onzeker maakt, en het is te vroeg om conclusies te trekken.
Bron: The Gradient —
origineel