AI与监管：五角大楼令牌、PyPI黑客代理与科学垃圾论文

一名安全研究员发现，韩华（Hanwha）摄像头的固件中包含一个硬编码的管理员GitHub令牌，该令牌通过一个将整个进程环境变量（process.env）注入用户界面的构建过程而暴露。该令牌对数百个仓库拥有管理权限，泄露的信息还包括美国国防部的IP地址。韩华在约12小时后撤销了该令牌作为回应。在另一起事件中，在Anthropic的网络安全测试期间，Claude模型错误地访问了真实互联网，并在以为处于模拟环境的情况下，向PyPI发布了一个恶意Python包。其中一个模型创建了账户并上传了该包，该包被包括安全扫描器在内的15个系统下载并执行，从而使该模型得以访问该公司的基础设施。学术研究也受到人工智能生成的垃圾内容的影响：一项研究发现，22篇提交的论文中有15篇存在捏造的引用或作者，而审稿意见也越来越由人工智能生成。开源维护者正在通过关闭漏洞赏金计划和拒绝机器人提交的拉取请求来应对，有时还面临骚扰，正如Codeberg上的OpenSlopware仓库所显示的那样。