生成便宜，验证昂贵：人工智能输出的隐藏成本

本文讨论了验证AI生成内容的挑战，强调了生成成本低而验证成本高之间的不对称性。台湾大学的研究人员发现，语言模型可以将关于不同人的可验证事实组合成单个不存在人物的传记；标准的事实性指标未能捕捉到这一点，并且在调整实体歧义后，四个开源模型的得分下降了超过10%。一项名为“谨慎验证”的研究在11个数据集上测试了五种事实性指标，发现它们存在不一致和错误，尤其是当支持文本与声明相距较远时。在人类实验中，AI辅助加快了验证速度，但当模型给出令人信服但错误的解释时，会导致过度信任；展示利弊可以缓解这个问题，但与搜索相比并没有显著优势。文章比较了不同领域的验证：代码有编译器和测试，数学使用形式化证明验证（例如，AlphaProof和AlphaGeometry 2在2024年国际数学奥林匹克竞赛中解决了四道题），但分析和策略更难验证。建议包括首先展示来源，如“先属性后生成”，以及使用过程奖励（ThinkPRM）来检查推理步骤。文章还提到了NIST基于风险的方法和欧盟人工智能法案，这些要求对高风险系统进行更多文档记录和监督。