¡Muéstrame El Señor de los Anillos! Karpathy Promociona un Nuevo Benchmark para los LLM

Andrej Karpathy reveló que Anthropic está utilizando un nuevo punto de referencia para los LLM: generar el mundo de la Tierra Media a partir del inicio de El Señor de los Anillos. Al modelo, Claude Opus 5, se le proporcionó el texto y Three.js, una biblioteca de JavaScript, para crear una escena 3D interactiva en el navegador. Opus 5 necesitó 1 millón de tokens, 2 horas y 5500 líneas de código para producir la demo. El resultado final es tosco, reminiscente de la animación 3D temprana, con problemas como personajes flotantes y partes del cuerpo. Karpathy reconoció que Opus 5 no puede realmente 'entrar' en el mundo que generó; solo puede tomar capturas de pantalla en diferentes momentos para verificar errores, lo que resalta una debilidad en los LLM actuales: pueden codificar y construir escenas, pero no pueden ver videos ni jugar los juegos que crean. La prueba del 'pelícano montando una bicicleta' SVG, popularizada por el desarrollador Simon Willison, está siendo eliminada gradualmente porque los modelos se han vuelto demasiado buenos en ella. El nuevo punto de referencia tiene como objetivo probar la capacidad de un modelo para planificar un proyecto complejo, trabajar durante horas e iterar sobre miles de líneas de código. Las reacciones de la comunidad fueron variadas: algunos elogiaron la nueva dirección, otros cuestionaron su costo y si Three.js realmente mide la inteligencia general. Los internautas también crearon sus propios proyectos, como un concierto de Kanye West generado por IA, y Karpathy sugirió integrar APIs como Seedance para renderizar videos y ElevenLabs para audio con el fin de mejorar la calidad.