AI充斥科学期刊文章——目前来看没什么好处

《组织科学》期刊编辑部分析了2021年1月至2026年2月期间收到的6,957篇投稿和10,389份审稿意见。ChatGPT在2022年底的出现与投稿量急剧增加及质量下降相吻合。ChatGPT普及后，投稿量增长了42%，到2026年2月，大多数已提交的文章可能以某种形式使用了人工智能。研究人员使用Pangram 3.1算法检测机器文本，发现与2021年1月相比，到2026年1月，平均可读性（Flesch指数）下降了1.28个标准差。人工智能参与度指数超过70%的论文，在同行评审前有70%被拒稿；而人工智能使用最少的论文拒稿率仅为43.7%。对于大量使用人工智能的论文，收到修改请求的几率从11.9%降至3.2%。统计模型显示，即使在文体上经过润色的文本，拒稿率仍然更高，表明科学内容质量较差。人工智能生成的审稿意见多样性较低，更侧重于理论框架，而对数据、方法和结果的关注较少。作者指出，算法无法可靠地识别人工智能的影响，因此只讨论了总体趋势。然而，詹姆斯·埃文斯（James Evans）进行的一项大型实验让研究人员评估语言模型产生的想法：6,749名科学家对新颖性、实用价值和合理性给出了超过25,000个评分。流行的模型通常提出相似的想法，而更高级的模型则能在新颖性上带来惊喜。人工智能审稿人经常与人类专家意见相左。Qwen3-14B模型专门针对科学家撰写的审稿意见进行了训练，其性能比通用模型高出高达27%。研究人员得出结论，人工智能已经有助于数据搜索、编程和文本准备，但如果没有人工验证和评估系统的改变，它可能导致出版物数量失控的增长，而不是增加新知识。