Zeig mir den Herrn der Ringe! Karpathy preist neuen Benchmark für LLMs an

Andrej Karpathy hat enthüllt, dass Anthropic einen neuen Benchmark für große Sprachmodelle einsetzt: die Erzeugung der Welt von Mittelerde aus dem Anfang von „Der Herr der Ringe“. Dem Modell Claude Opus 5 wurde der Text sowie Three.js, eine JavaScript-Bibliothek, als Prompt gegeben, um eine interaktive 3D-Szene im Browser zu erstellen. Opus 5 benötigte 1 Million Token, 2 Stunden und 5500 Zeilen Code, um die Demo zu produzieren. Das Endergebnis ist grob und erinnert an frühe 3D-Animation, mit Problemen wie schwebenden Figuren und Körperteilen. Karpathy räumte ein, dass Opus 5 nicht wirklich in seine erzeugte Welt „eintauchen“ kann; es kann nur zu verschiedenen Zeitpunkten Screenshots machen, um Fehler zu überprüfen, was eine Schwäche aktueller großer Sprachmodelle hervorhebt: Sie können Code schreiben und Szenen bauen, aber keine Videos ansehen oder die Spiele spielen, die sie erstellen. Der von dem Entwickler Simon Willison populär gemachte SVG-Test „Pelikan auf einem Fahrrad“ wird auslaufen gelassen, weil die Modelle darin inzwischen zu gut geworden sind. Der neue Benchmark zielt darauf ab, die Fähigkeit eines Modells zu testen, ein komplexes Projekt zu planen, über Stunden zu arbeiten und Tausende von Codezeilen zu iterieren. Die Reaktionen der Community waren gemischt: Einige lobten die neue Ausrichtung, andere stellten die Kosten in Frage und ob Three.js wirklich allgemeine Intelligenz messe. Netzbürger erstellten auch eigene Projekte, wie etwa ein KI-generiertes Konzert von Kanye West, und Karpathy schlug vor, APIs wie Seedance für die Videorendering und ElevenLabs für Audio zu integrieren, um die Qualität zu verbessern.