Car-GPT: Os LLMs finalmente poderão tornar os carros autônomos realidade?
OpenAI
Meta
Wayve
xAI
O artigo explora o potencial dos Modelos de Linguagem de Grande Escala (LLMs) para revolucionar a direção autônoma, traçando um paralelo com a descoberta acidental da penicilina por Alexander Fleming. Explica como os LLMs, por meio de tokenização, transformadores e previsão da próxima palavra, podem ser adaptados para tarefas de direção autônoma, como percepção, planejamento e geração. No entanto, problemas de confiança e caixa-preta permanecem sem solução, e é cedo demais para dizer se os LLMs serão a chave para veículos totalmente autônomos.
O artigo compara o estado atual da pesquisa em carros autônomos à descoberta acidental da penicilina, sugerindo que os LLMs (Modelos de Linguagem de Grande Escala) podem ser o avanço inesperado. Explica que a condução autônoma tradicional usa uma abordagem modular (percepção, localização, planejamento, controle), enquanto o aprendizado de ponta a ponta substitui todos os módulos por uma única rede neural, criando um problema de caixa-preta. Os LLMs funcionam por meio de tokenização (conversão de texto em números), transformadores (arquitetura baseada em atenção) e predição da próxima palavra. Para a condução autônoma, as entradas podem ser imagens ou dados de sensores tokenizados de forma semelhante, e as tarefas incluem percepção (detecção, predição, rastreamento), planejamento (tomada de decisão, navegação) e geração (criação de dados de treinamento ou cenários). Exemplos como Talk2BEV e DriveGPT usam LLMs para aprimorar a percepção BEV (Bird's Eye View) e planejar trajetórias, enquanto GAIA-1 e MagicDrive geram vídeos ou cenas. No entanto, preocupações com alucinações e falta de determinismo tornam a confiança em LLMs para direção em tempo real incerta, e é cedo para concluir.
Fonte: The Gradient —
original