Unicorn, Pelikaan, Midden-aarde: OpenAI-medeoprichter Karpathy op zoek naar de volgende AI-vingerafdruktest

Andrej Karpathy, mede-oprichter van OpenAI en sinds mei 2026 werkzaam bij Anthropic aan pre-training onderzoek, liet het AI-model Claude Opus 5 de openingsscène van Tolkiens 'In de Ban van de Ring' als 3D-scène voor de browser weergeven. Het model werkte ongeveer twee uur met een budget van één miljoen tokens (ongeveer tien dollar) en moest alles renderen in Three.js, een grafische bibliotheek voor 3D in de browser. Karpathy publiceerde de broncode online zodat anderen de scène kunnen nabouwen en ermee kunnen spelen. Hij stelt dat de bekende 'Pelikaantest' langzaamaan uitgeput raakt; die leuke benchmark van Simon Willison vraagt een model om een SVG-afbeelding te tekenen van een pelikaan op een fiets, bewust absurd zodat het onderwerp niet in de trainingsdata zit. Het idee is ouder: Microsoft gebruikte in 2023 GPT-4 in het paper 'Sparks of AGI' om een eenhoorn in TikZ te tekenen, wat werd geïnterpreteerd als een teken van ruimtelijk inzicht; GPT-4 was destijds uitsluitend getraind op tekstdata, in tegenstelling tot de multimodale modellen van nu. Karpathy noemt het resultaat grof maar leuk; de stem werd verzorgd door Eleven Labs, en het model plaatste en animeerde zelf objecten. Hij zegt dat niemand zulke werelden met de hand zou bouwen, en met een model is het bijna gratis. Hij ziet potentie voor aangepaste gamewerelden waarin gebruikers als bijpersonages of hoofdpersonen kunnen worden geplaatst. Een resterend probleem is dat het model zijn eigen video niet kan bekijken en gebruik moest maken van screenshots, wat tot fouten leidde. Andere gebruikers hebben Opus 5 complete browsergames laten schrijven, van first-person shooters tot Minecraft-kloons. Geen van beide is een harde meting, maar eerder een 'vibe check'.