Mostre-me O Senhor dos Anéis! Karpathy Promove Novo Benchmark para LLMs

Andrej Karpathy revelou que a Anthropic está usando um novo benchmark para LLMs: gerar o mundo da Terra-média a partir do início de O Senhor dos Anéis. O modelo, Claude Opus 5, foi solicitado com o texto e Three.js, uma biblioteca JavaScript, para criar uma cena 3D interativa no navegador. Opus 5 levou 1 milhão de tokens, 2 horas e 5500 linhas de código para produzir a demo. O resultado final é rudimentar, lembrando animação 3D antiga, com problemas como personagens flutuando e partes do corpo. Karpathy reconheceu que o Opus 5 não pode realmente 'entrar' no mundo que gerou; ele só pode capturar telas em momentos diferentes para verificar erros, destacando uma fraqueza nos LLMs atuais: eles podem codificar e construir cenas, mas não podem assistir vídeos ou jogar os jogos que criam. O teste do 'pelicano andando de bicicleta' em SVG, popularizado pelo desenvolvedor Simon Willison, está sendo descontinuado porque os modelos ficaram bons demais nisso. O novo benchmark visa testar a capacidade de um modelo de planejar um projeto complexo, trabalhar por horas e iterar em milhares de linhas de código. As reações da comunidade foram variadas: alguns elogiaram a nova direção, outros questionaram seu custo e se Three.js realmente mede inteligência geral. Os internautas também criaram seus próprios projetos, como um show de Kanye West gerado por IA, e Karpathy sugeriu integrar APIs como Seedance para renderização de vídeo e ElevenLabs para áudio para melhorar a qualidade.