Покажи мне Властелина колец! Карпати продвигает новый бенчмарк для LLM
Андрей Карпати объявил, что Opus 5 от Anthropic тестируется путем генерации мира Средиземья из начала «Властелина колец» с использованием Three.js. Этот бенчмарк заменяет популярный SVG-тест «пеликан, едущий на велосипеде» и направлен на оценку моделей в сложном планировании проектов и длительном программировании. Полученный 3D-мир, хотя и грубый, показывает, что современные LLM все еще не могут по-настоящему понимать видео или играть в свои собственные творения.
QbitAI 量子位07.08 · 05:02
