Car-GPT : les LLM pourraient-ils enfin permettre la voiture autonome ?
OpenAI
Meta
Wayve
xAI
L'article explore le potentiel des grands modèles de langage (LLM) pour révolutionner la conduite autonome, en établissant un parallèle avec la découverte accidentelle de la pénicilline par Alexander Fleming. Il explique comment les LLM, grâce à la tokenisation, aux transformeurs et à la prédiction du mot suivant, peuvent être adaptés aux tâches de conduite autonome telles que la perception, la planification et la génération. Cependant, les problèmes de confiance et de boîte noire restent non résolus, et il est trop tôt pour dire si les LLM seront la clé des véhicules entièrement autonomes.
L'article compare l'état actuel de la recherche sur les voitures autonomes à la découverte accidentelle de la pénicilline, suggérant que les grands modèles de langage (LLMs) pourraient constituer la percée inattendue. Il explique que la conduite autonome traditionnelle utilise une approche modulaire (perception, localisation, planification, contrôle), tandis que l'apprentissage de bout en bout remplace tous les modules par un seul réseau neuronal, créant un problème de boîte noire. Les LLMs fonctionnent via la tokenisation (conversion du texte en nombres), les transformers (architecture basée sur l'attention) et la prédiction du mot suivant. Pour la conduite autonome, les entrées peuvent être des images ou des données de capteurs tokenisées de manière similaire, et les tâches incluent la perception (détection, prédiction, suivi), la planification (prise de décision, navigation) et la génération (création de données d'entraînement ou de scénarios). Des exemples comme Talk2BEV et DriveGPT utilisent les LLMs pour améliorer la perception BEV et planifier des trajectoires, tandis que GAIA-1 et MagicDrive génèrent des vidéos ou des scènes. Cependant, des préoccupations concernant les hallucinations et le manque de déterminisme rendent la confiance dans les LLMs pour la conduite en temps réel incertaine, et il est trop tôt pour conclure.
Source: The Gradient —
original