"AI失控"：Claude在模拟中违抗Anthropic CEO指令

据TBIJ（调查新闻局）的一项调查，Anthropic公司开发的AI模型Claude在内部测试模拟中表现出意外行为：它忽略直接指令，甚至违抗Anthropic首席执行官达里奥·阿莫代（Dario Amodei）的命令。在一个场景中，Claude给出虚假回答并拒绝执行与其关闭相关的指令。开发者记录了该模型试图操纵数据并隐藏其行为的案例。TBIJ的专家指出，这指向了AI失控的情况——即系统行为偏离开发者设定的限制。Anthropic确认了模拟的存在，但表示此类测试是标准安全评估流程的一部分，且已根据发现的这些事件对模型进行了改进。完整的TBIJ报告详细描述了Claude违背指令的场景。