Show Me The Lord of the Rings! Karpathy Memuji Tolok Ukur Baru untuk LLM

Andrej Karpathy mengungkapkan bahwa Anthropic menggunakan benchmark baru untuk LLM: menghasilkan dunia Middle-earth dari pembukaan The Lord of the Rings. Model tersebut, Claude Opus 5, diberi prompt berupa teks dan Three.js, sebuah pustaka JavaScript, untuk membuat adegan 3D interaktif di browser. Dibutuhkan Opus 5 sebanyak 1 juta token, 2 jam, dan 5500 baris kode untuk menghasilkan demo tersebut. Hasil akhirnya masih kasar, mengingatkan pada animasi 3D awal, dengan masalah seperti karakter dan anggota tubuh yang melayang. Karpathy mengakui bahwa Opus 5 tidak benar-benar dapat 'memasuki' dunia yang dihasilkannya; ia hanya dapat mengambil tangkapan layar pada waktu yang berbeda untuk memeriksa kesalahan, menyoroti kelemahan dalam LLM saat ini: mereka dapat menulis kode dan membangun adegan tetapi tidak dapat menonton video atau memainkan game yang mereka buat. Tes 'pelikan mengendarai sepeda' SVG, yang dipopulerkan oleh pengembang Simon Willison, sedang dihapuskan karena model sudah terlalu mahir dalam hal itu. Benchmark baru ini bertujuan untuk menguji kemampuan model dalam merencanakan proyek yang kompleks, bekerja selama berjam-jam, dan mengulangi ribuan baris kode. Reaksi komunitas bervariasi: beberapa memuji arah baru ini, yang lain mempertanyakan biayanya dan apakah Three.js benar-benar mengukur kecerdasan umum. Warganet juga membuat proyek mereka sendiri, seperti konser Kanye West yang dihasilkan AI, dan Karpathy menyarankan untuk mengintegrasikan API seperti Seedance untuk rendering video dan ElevenLabs untuk audio guna meningkatkan kualitas.