研究智能体 🇩🇪 14.08.2026 19:10

研究反驳Anthropic和OpenAI:自主AI研究仍遥遥无期

AnthropicAnthropic OpenAIOpenAI Sakana AISakana AI Google DeepMindGoogle DeepMind
一项由普林斯顿大学和英国AI安全研究所参与的新研究发现,当前前沿AI模型在独立AI研究方面失败,尽管Anthropic和OpenAI等主要实验室声称如此。使用"影子评估"方法,以未发表的NeurIPS论文为基础,人类作者拒绝了所有AI生成的工作。这些代理在科学判断、创造性问题解决和资源管理方面表现不佳。
来自普林斯顿大学和英国人工智能安全研究所的研究人员进行了一项研究,旨在实证测试人工智能智能体能否独立开展人工智能研究。他们采用了一种名为“影子评估”的方法,即向人工智能智能体提供未发表论文中的核心研究问题,并由原人类作者像会议审稿人一样评估结果。这些智能体使用了具有超强推理能力的Claude Opus 4.8,运行了六天,拥有3000美元的API预算、GPU访问权限和网络访问权限,并在OpenClaw智能体框架内运作。原论文作者拒绝了两篇人工智能生成的论文,其中一篇被“坚决拒绝”,理由是数据动机不足、行文晦涩难懂、缺乏新颖贡献。分析指出了五个系统性弱点:缺乏对可发表研究质量的判断力、创造性解决问题能力不足(智能体缩小了主张范围,而非产生新假设)、无效的回溯(过早放弃宏大目标)、缺乏资源意识(智能体使用不到一半的预算)以及指令漂移(遗忘明确指令、超出长度限制)。相比之下,智能体成功处理了所有工程任务,包括文献检索、调试GPU代码、运行数百项实验以及编译LaTeX论文。未发现显著的奖励黑客行为。为了验证结果,他们使用GPT-5.6 Sol和OpenAI的Codex脚手架重复了实验,发现了几乎相同的失败模式。该研究与Anthropic(其发布了《当AI自我构建时》)和OpenAI(其称GPT-5.6 Sol在后期训练中节省了数周时间)的主张相矛盾。作者指出,系统卡片并未提及这一贡献。他们得出结论,前沿模型可以处理工程任务,但在长达数周的开放性研究问题上表现不佳。该研究还批评了同行评审过程,引用了Sakana AI的AI科学家v2论文,该论文虽被一个研讨会接受,但因引用错误后来被撤回。
来源: The Decoder (DE) — 原文
我们之前关于此话题的帖子 ↓
最新新闻