Hãy Cho Tôi Thấy Chúa Tể Những Chiếc Nhẫn! Karpathy Đề Xuất Chuẩn Mới cho Mô Hình Ngôn Ngữ Lớn

Andrej Karpathy tiết lộ rằng Anthropic đang sử dụng một benchmark mới cho các LLM: tạo ra thế giới Trung Địa từ đoạn mở đầu của Chúa tể những chiếc nhẫn. Mô hình Claude Opus 5 được cung cấp văn bản và Three.js, một thư viện JavaScript, để tạo ra một cảnh 3D tương tác trong trình duyệt. Opus 5 mất 1 triệu token, 2 giờ và 5500 dòng mã để tạo ra bản demo. Kết quả cuối cùng còn thô, gợi nhớ đến hoạt hình 3D thời kỳ đầu, với các vấn đề như nhân vật lơ lửng và các bộ phận cơ thể bị lệch. Karpathy thừa nhận rằng Opus 5 không thể thực sự 'bước vào' thế giới mà nó tạo ra; nó chỉ có thể chụp màn hình tại các thời điểm khác nhau để kiểm tra lỗi, làm nổi bật một điểm yếu của các LLM hiện tại: chúng có thể viết mã và xây dựng cảnh nhưng không thể xem video hoặc chơi trò chơi mà chúng tạo ra. Bài kiểm tra SVG 'chú bồ nông đi xe đạp', được phổ biến bởi nhà phát triển Simon Willison, đang dần bị loại bỏ vì các mô hình đã quá giỏi trong việc này. Benchmark mới nhằm kiểm tra khả năng của mô hình trong việc lập kế hoạch cho một dự án phức tạp, làm việc trong nhiều giờ và lặp lại trên hàng nghìn dòng mã. Phản ứng của cộng đồng rất đa dạng: một số ca ngợi hướng đi mới, số khác đặt câu hỏi về chi phí và liệu Three.js có thực sự đo lường trí thông minh tổng quát hay không. Cư dân mạng cũng tự tạo ra các dự án của riêng họ, chẳng hạn như một buổi hòa nhạc do AI tạo ra của Kanye West, và Karpathy gợi ý tích hợp các API như Seedance để kết xuất video và ElevenLabs để tạo âm thanh nhằm nâng cao chất lượng.