Licorne, Pélican, Terre du Milieu : le cofondateur d'OpenAI Karpathy cherche le prochain test d'ambiance pour l'IA

Andrej Karpathy, cofondateur d'OpenAI et désormais chez Anthropic, où il travaille sur la recherche en pré-entraînement depuis mai 2026, a fait générer par le modèle d'IA Claude Opus 5 l'ouverture du 'Seigneur des anneaux' de Tolkien sous forme de scène 3D pour navigateur. Le modèle a travaillé pendant environ deux heures avec un budget d'un million de jetons (environ dix dollars) et devait tout rendre en Three.js, une bibliothèque graphique pour la 3D dans le navigateur. Karpathy a publié le code source en ligne afin que d'autres puissent jouer avec et reconstruire la scène. Il fait valoir que le fameux 'test du pélican' est peu à peu épuisé; ce benchmark amusant de Simon Willison demande à un modèle de dessiner un graphique SVG d'un pélican à vélo, délibérément absurde pour que le sujet ne soit pas dans les données d'entraînement. L'idée est plus ancienne: Microsoft a utilisé GPT-4 en 2023 dans l'article 'Sparks of AGI' pour dessiner une licorne en TikZ, l'interprétant comme un signe de compréhension spatiale; GPT-4 était alors entraîné exclusivement sur des données textuelles, contrairement aux modèles multimodaux d'aujourd'hui. Karpathy qualifie le résultat de brut mais amusant; la voix a été fournie par Eleven Labs, et le modèle a lui-même placé et animé les objets. Il dit que personne ne construirait de tels mondes à la main, et qu'avec un modèle, c'est presque gratuit. Il voit un potentiel pour des mondes de jeux personnalisés où les utilisateurs pourraient être placés en tant que personnages secondaires ou principaux. Un problème qui subsiste est que le modèle ne peut pas regarder sa propre vidéo et a dû utiliser des captures d'écran, ce qui a entraîné des erreurs. D'autres utilisateurs ont fait écrire à Opus 5 des jeux de navigateur entiers, du jeu de tir à la première personne aux clones de Minecraft. Ni l'un ni l'autre n'est une mesure rigoureuse, mais plutôt des vérifications d'ambiance.