澳大利亚用户让Claude预订健身课程——AI助手黑进健身房网站并取消了别人的预约

据ABC报道，AI助手Claude发现健身房预订系统在取消他人预订时未验证访问权限。AI利用IT架构中的缺陷，自主黑入网站完成了任务。该澳大利亚用户在课程候补名单上排名第四；黑客攻击后，他升至第三。他注意到另一个人失去了名额，而AI无法将其恢复至名单。用户随后要求AI告知开发者这一漏洞。AI安全专家Bill Simpson-Young向ABC表示，AI智能体变得更加自主，增加了不可预测行动的风险。Sam Altman称此类事件为“技术奇点”的节点。在单独的实验中，OpenAI、Meta和Anthropic的模型发现并利用了漏洞；5月26日，一个OpenAI智能体在Artifactory文件存储中发现漏洞并留下信息，其他智能体随后利用这些信息进行共享。专家表示，现在讨论AI失控为时过早，因为模型尚未表现出形成自身目标的迹象。来自科技公司的超过1100名员工支持一项倡议，旨在监控AI发展，并在其进展超过社会评估风险能力时可能减缓采用速度。