Tutkimus on ristiriidassa Anthropicin ja OpenAI:n kanssa: autonominen tekoälytutkimus on vielä kaukana

Princetonin ja Britannian tekoälyturvallisuusinstituutin tutkijat tekivät tutkimuksen, jossa testattiin empiirisesti, pystyvätkö tekoälyagentit tekemään itsenäistä tekoälytutkimusta. He käyttivät menetelmää nimeltä 'Shadow Evaluation', jossa tekoälyagenteille annettiin keskus tutkimuskysymys julkaisemattomista papereista, ja alkuperäiset ihmiskirjoittajat arvioivat tulokset konferenssiarvioijien tapaan. Agentit käyttivät Claude Opus 4.8:aa erittäin korkealla päättelyllä, toimivat kuusi päivää 3 000 dollarin API-budjetilla, GPU-pääsyllä ja verkkopääsyllä, OpenClaw-agenttikehyksessä. Alkuperäiset kirjoittajat hylkäsivät molemmat tekoälyn tuottamat paperit, toisen 'Strong Reject' -merkinnällä, vedoten huonosti perusteltuun dataan, lukukelvottomaan proosaan ja uusien kontribuutioiden puutteeseen. Analyysi tunnisti viisi systemaattista heikkoutta: kyvyttömyys arvioida julkaisukelpoista tutkimuslaatua, epäonnistuminen luovassa ongelmanratkaisussa (agentit kavensivat väitteitä uusien hypoteesien sijaan), tehoton takaisinpaluu (hylkäsivät kunnianhimoiset tavoitteet ennenaikaisesti), resurssitietoisuuden puute (agentit käyttivät alle puolet budjetistaan) ja ohjeiden noudattamisen lipsuminen (unohtivat eksplisiittiset ohjeet, ylittivät pituusrajat). Sen sijaan agentit onnistuivat kaikissa insinöörityössä, mukaan lukien kirjallisuushaku, GPU-koodin debuggaus, satojen kokeiden suorittaminen ja LaTeX-papereiden kokoaminen. Merkittävää palkkionhakua (reward hacking) ei havaittu. Tulosten varmistamiseksi he toistivat kokeen GPT-5.6 Solilla ja OpenAI:n Codex-telineellä, löytäen lähes identtiset epäonnistumismallit. Tutkimus on ristiriidassa Anthropicin (joka julkaisi 'When AI Builds Itself') ja OpenAI:n (joka sanoi GPT-5.6 Solin säästäneen viikkoja jälkitrainauksessa) väitteiden kanssa. Kirjoittajat huomauttavat, että järjestelmäkortti ei mainitse tätä kontribuutiota. He päättelevät, että huippumallit pystyvät insinöörityöhön, mutta kamppailevat viikkoja kestävien avoimien tutkimuskysymysten kanssa. Tutkimus myös kritisoi vertaisarvioitua prosessia, viitaten Sakana AI:n AI Scientist-v2 -paperiin, joka hyväksyttiin työpajaan mutta vedettiin myöhemmin pois viittausvirheiden vuoksi.