Покажи мне Властелина колец! Карпати продвигает новый бенчмарк для LLM
Андрей Карпати объявил, что Opus 5 от Anthropic тестируется путем генерации мира Средиземья из начала «Властелина колец» с использованием Three.js. Этот бенчмарк заменяет популярный SVG-тест «пеликан, едущий на велосипеде» и направлен на оценку моделей в сложном планировании проектов и длительном программировании. Полученный 3D-мир, хотя и грубый, показывает, что современные LLM все еще не могут по-настоящему понимать видео или играть в свои собственные творения.
Андрей Карпати раскрыл, что Anthropic использует новый бенчмарк для LLM: генерация мира Средиземья из начала «Властелина колец». Модель Claude Opus 5 получила текст и Three.js, библиотеку JavaScript, в качестве промпта, чтобы создать интерактивную 3D-сцену в браузере. На создание демо у Opus 5 ушло 1 миллион токенов, 2 часа и 5500 строк кода. Итоговый результат грубоват, напоминает раннюю
Показать ещё ↓
Источник: QbitAI 量子位 —
оригинал