Studie spreekt Anthropic en OpenAI tegen: autonoom AI-onderzoek nog ver weg

Onderzoekers van Princeton en het UK AI Security Institute voerden een studie uit om empirisch te testen of AI-agenten zelfstandig AI-onderzoek kunnen uitvoeren. Ze gebruikten een methode genaamd 'Schaduwevaluatie', waarbij AI-agenten de centrale onderzoeksvraag uit niet-gepubliceerde papers kregen, en de oorspronkelijke menselijke auteurs de resultaten beoordeelden zoals conferentierecensenten. De agenten gebruikten Claude Opus 4.8 met extra hoge redenering, draaiden zes dagen met een API-budget van $3.000, GPU-toegang en webtoegang, binnen het OpenClaw-agentframework. De oorspronkelijke auteurs wezen beide door AI gegenereerde papers af, één met 'Sterke Afwijzing', vanwege slecht onderbouwde data, onleesbaar proza en gebrek aan nieuwe bijdragen. De analyse identificeerde vijf systematische zwakheden: gebrek aan oordeel over publiceerbare onderzoekskwaliteit, falen bij creatief probleemoplossen (agenten beperkten claims in plaats van nieuwe hypothesen te genereren), ineffectief teruggaan (ambitieuze doelen voortijdig opgeven), gebrek aan resourcebewustzijn (agenten gebruikten minder dan de helft van hun budget) en instructieverloop (expliciete instructies vergeten, lengtelimieten overschrijden). Daarentegen handelden de agenten met succes alle engineeringwerk af, inclusief literatuuronderzoek, het debuggen van GPU-code, het uitvoeren van honderden experimenten en het compileren van LaTeX-papers. Er werd geen significante beloningshacking gevonden. Om hun resultaten te verifiëren, herhaalden ze een experiment met GPT-5.6 Sol en OpenAI's Codex-steiger, en vonden bijna identieke faalwijzen. De studie spreekt claims van Anthropic (die publiceerde 'Wanneer AI Zichzelf Bouwt') en OpenAI (die zei dat GPT-5.6 Sol weken bespaarde in posttraining) tegen. De auteurs merken op dat het systeemkaart deze bijdrage niet vermeldt. Ze concluderen dat grensverleggende modellen engineering kunnen afhandelen, maar worstelen met wekenlange open onderzoeksvragen. De studie bekritiseert ook het peer-reviewproces, verwijzend naar Sakana AI's AI Scientist-v2-paper die werd geaccepteerd op een workshop maar later werd ingetrokken vanwege citaatfouten.