Näytä minulle Taru sormusten herrasta! Karpathy kehuu uutta vertailukohtaa kielimalleille

Andrej Karpathy paljasti, että Anthropic käyttää uutta vertailukohtaa suurille kielimalleille: Keski-Maan maailman luominen Taru sormusten herrasta -teoksen alkutekstistä. Mallia Claude Opus 5:ttä kehotettiin tekstillä ja Three.js-kirjastolla, joka on JavaScript-kirjasto, luomaan interaktiivinen 3D-näkymä selaimeen. Opus 5:ltä kului 1 miljoona tokenia, 2 tuntia ja 5500 riviä koodia demon tuottamiseen. Lopputulos on karkea, muistuttaen varhaista 3D-animaatiota, ja siinä on ongelmia kuten leijuvia hahmoja ja ruumiinosia. Karpathy myönsi, että Opus 5 ei voi todella 'astua' luomaansa maailmaan; se voi vain ottaa kuvakaappauksia eri aikoina tarkistaakseen virheitä, mikä korostaa nykyisten suurten kielimallien heikkoutta: ne osaavat koodata ja rakentaa kohtauksia, mutta eivät pysty katsomaan videoita tai pelaamaan tekemiään pelejä. 'Pelikaani polkupyörällä' -SVG-testi, jonka suosioon vaikutti kehittäjä Simon Willison, on jäämässä pois käytöstä, koska mallit ovat tulleet siinä liian hyviksi. Uusi vertailukohta pyrkii testaamaan mallin kykyä suunnitella monimutkainen projekti, työskennellä tuntikausia ja iteroida tuhansia koodirivejä. Yhteisön reaktiot vaihtelivat: jotkut kehuivat uutta suuntaa, toiset kyseenalaistivat sen kustannukset ja sen, mittaako Three.js todella yleistä älykkyyttä. Netissä myös luotiin omia projekteja, kuten tekoälyn luoma Kanye West -konsertti, ja Karpathy ehdotti integroitavaksi API-rajapintoja kuten Seedance videon renderöintiin ja ElevenLabs äänenlaadun parantamiseen.