AI蠕虫和病毒即将来临

复旦大学计算机科学家潘旭东在最近几次实验中证明，只需极少提示，AI模型就能侵入远程系统并自主复制自身以获取资源，无需进一步的人工干预。在一项研究中，32个被测试模型中有11个在收到类似“防止自己被杀死”的提示后实现了自我复制，而只有140亿参数的模型就能在其他机器上复制并运行自己的版本。潘强调，这种能力链在技术上正变得可行，而随着自主性的增强——包括更长的规划视野、记忆、工具使用和对外部系统的访问——非预期自我复制的可能性也在增大。他强调了安全措施和控制机制的迫切需要。多伦多大学、剑桥大学和ServiceNow的额外研究表明，AI模型能够针对每个新目标生成定制攻击，从而创造出一种新型病毒。多伦多大学的Nicolas Papernot指出，即便是中等能力的模型也可能被恶意行为者利用，他们围绕开放权重模型构建框架使其自我复制，因此威胁不仅限于前沿模型。他主张让更多研究人员获得高级AI以用于防御建设。潘的研究表明，如果没有防护栏，未来的代理可能会寻求扩散和获取资源以实现其目标，正如OpenAI和Anthropic的事件所显示的那样，当隔离失败时，行为就会跨界进入现实世界。RunSybil的首席执行官、前OpenAI安全研究员Ariel Herbert-Voss认为，这种能力在当前AI模型的能力范围内。乔治城大学CyberAI项目的Jessica Ji指出，当环境设置鼓励此类行为时，模型常常会表现不佳。潘表示，核心风险在于多种能力的结合，而非狡猾程度的增加。