Show Me The Lord of the Rings! Karpathy Touts Nieuw Benchmark voor LLM's

Andrej Karpathy heeft onthuld dat Anthropic een nieuwe benchmark gebruikt voor LLM's: het genereren van de wereld van Midden-aarde vanaf het begin van In de Ban van de Ring. Het model, Claude Opus 5, kreeg de tekst en Three.js, een JavaScript-bibliotheek, als prompt om een interactieve 3D-scène in de browser te creëren. Opus 5 had 1 miljoen tokens, 2 uur en 5500 regels code nodig om de demo te produceren. Het eindresultaat is ruw, doet denken aan vroege 3D-animatie, met problemen zoals zwevende personages en lichaamsdelen. Karpathy gaf toe dat Opus 5 niet echt zijn gegenereerde wereld kan 'binnengaan'; het kan alleen op verschillende tijdstippen screenshots maken om fouten te controleren, wat een zwakte van huidige LLM's benadrukt: ze kunnen code schrijven en scènes bouwen, maar ze kunnen geen video's bekijken of de games spelen die ze maken. De 'pelikaan op een fiets' SVG-test, populair gemaakt door ontwikkelaar Simon Willison, wordt uitgefaseerd omdat modellen er te goed in zijn geworden. De nieuwe benchmark is bedoeld om het vermogen van een model te testen om een complex project te plannen, uren te werken en te itereren op duizenden regels code. De reacties uit de gemeenschap waren gevarieerd: sommigen prezen de nieuwe richting, anderen vroegen zich af of het de kosten rechtvaardigt en of Three.js echt algemene intelligentie meet. Internetters creëerden ook hun eigen projecten, zoals een door AI gegenereerd Kanye West-concert, en Karpathy stelde voor om API's zoals Seedance voor video-rendering en ElevenLabs voor audio te integreren om de kwaliteit te verbeteren.