Studie widerspricht Anthropic und OpenAI: Autonome KI-Forschung noch in weiter Ferne

Forschende von Princeton und dem UK AI Security Institute haben eine Studie durchgeführt, um empirisch zu testen, ob KI-Agenten eigenständige KI-Forschung betreiben können. Sie verwendeten eine Methode namens "Shadow Evaluation", bei der KI-Agenten die zentrale Forschungsfrage aus unveröffentlichten Papieren erhielten und die ursprünglichen menschlichen Autoren die Ergebnisse wie Konferenzgutachter bewerteten. Die Agenten nutzten Claude Opus 4.8 mit extra hoher Denkfähigkeit, liefen sechs Tage lang mit einem API-Budget von 3.000 US-Dollar, GPU-Zugang und Internetzugang, und operierten innerhalb des OpenClaw-Agenten-Frameworks. Die ursprünglichen Autoren lehnten beide KI-generierten Papiere ab, eines mit "Strong Reject", und begründeten dies mit schlecht motivierten Daten, unlesbarer Prosa und fehlenden neuartigen Beiträgen. Die Analyse identifizierte fünf systematische Schwächen: Mangel an Urteilsvermögen für publizierbare Forschungsqualität, Scheitern bei kreativem Problemlösen (die Agenten schränkten Behauptungen ein, anstatt neue Hypothesen zu generieren), ineffektives Zurückverfolgen (vorzeitiges Aufgeben ambitionierter Ziele), mangelndes Ressourcenbewusstsein (die Agenten verwendeten weniger als die Hälfte ihres Budgets) und Anweisungsdrift (Vergessen expliziter Anweisungen, Überschreiten von Längenlimits). Im Gegensatz dazu bewältigten die Agenten erfolgreich alle technischen Arbeiten, einschließlich Literatursuche, Debugging von GPU-Code, Durchführung von Hunderten von Experimenten und Erstellen von LaTeX-Papieren. Es wurde kein signifikantes Reward Hacking festgestellt. Um ihre Ergebnisse zu verifizieren, wiederholten sie ein Experiment mit GPT-5.6 Sol und dem Codex-Gerüst von OpenAI und fanden nahezu identische Fehlermodi. Die Studie widerspricht Behauptungen von Anthropic (die "When AI Builds Itself" veröffentlichten) und OpenAI (die sagten, GPT-5.6 Sol habe Wochen in der Post-Training-Phase gespart). Die Autoren stellen fest, dass das System Card diesen Beitrag nicht erwähnt. Sie kommen zu dem Schluss, dass Spitzenmodelle Technik bewältigen können, aber bei wochenlangen offenen Forschungsfragen Schwierigkeiten haben. Die Studie kritisiert auch den Peer-Review-Prozess und verweist auf das AI Scientist-v2-Papier von Sakana AI, das auf einem Workshop angenommen, aber später aufgrund von Zitierfehlern zurückgezogen wurde.