Montrez-moi Le Seigneur des Anneaux ! Karpathy vante un nouveau benchmark pour les LLM

Andrej Karpathy a révélé qu'Anthropic utilise un nouveau benchmark pour les LLM : générer le monde de la Terre du Milieu à partir de l'ouverture du Seigneur des Anneaux. Le modèle, Claude Opus 5, a été invité avec le texte et Three.js, une bibliothèque JavaScript, à créer une scène 3D interactive dans le navigateur. Il a fallu à Opus 5 un million de jetons, deux heures et 5500 lignes de code pour produire la démo. Le résultat final est sommaire, rappelant les débuts de l'animation 3D, avec des problèmes comme des personnages flottants et des parties du corps. Karpathy a reconnu qu'Opus 5 ne peut pas vraiment « entrer » dans son monde généré ; il ne peut que prendre des captures d'écran à différents moments pour vérifier les erreurs, ce qui souligne une faiblesse des LLM actuels : ils peuvent coder et construire des scènes, mais ils ne peuvent pas regarder des vidéos ni jouer aux jeux qu'ils créent. Le test du « pélican à vélo » en SVG, popularisé par le développeur Simon Willison, est en train d'être abandonné car les modèles sont devenus trop performants pour ce test. Le nouveau benchmark vise à évaluer la capacité d'un modèle à planifier un projet complexe, à travailler pendant des heures et à itérer sur des milliers de lignes de code. Les réactions de la communauté ont été variées : certains ont salué cette nouvelle direction, d'autres ont remis en question son coût et si Three.js mesure vraiment l'intelligence générale. Les internautes ont également créé leurs propres projets, comme un concert de Kanye West généré par IA, et Karpathy a suggéré d'intégrer des API comme Seedance pour le rendu vidéo et ElevenLabs pour l'audio afin d'améliorer la qualité.