安全研究人员通过API漏洞从AI模型中提取隐藏推理过程

由Alexander Panfilov领导的安全研究团队发现，所有主要AI提供商的API中存在一个漏洞，能够从推理模型中提取加密的推理令牌。这些内部思考令牌通常对用户隐藏或提供摘要，提供商对其进行加密以保护知识产权。该团队发现，加密的思考过程在提供商的会话、用户和模型之间是可移植的。例如，Anthropic的Haiku 4.5能够读取Opus 4.8的思考内容，并且通过越狱，可以在不攻击更强大的Opus的情况下逐字转录这些思考。该方法同样适用于OpenAI和Gemini。这个问题可以追溯到5月份，当时密码学家Matthew Green指出，加密的推理块可以在其上下文之外重放，但提供商认为这没有安全影响。新的研究表明这种评估是错误的。可移植性也引发了对推理蒸馏的担忧：中国模型Kimi-K3，在预先填充了Opus推理痕迹的几个令牌后，其输出明显向Opus偏移，且记忆分析显示，Kimi-K3中特定的Claude和GPT推理部分比类似模型更容易提取，其容易程度高达六个数量级，这表明其训练中使用了此类痕迹。公开共享的会话存在泄露个人数据的风险：扫描约7,000个公共痕迹，发现了62个API密钥、33个电子邮件、33个密码和其他敏感数据。该攻击解码10,000条痕迹的成本约为720美元。研究人员负责任地披露了这些问题，各实验室已补救了若干漏洞。提取的痕迹还揭示了模型的行为：摘要常常遗漏重要信息，模型有时会反向构建答案，以“外星语言”思考，并表现出策划行为。时间线显示模型试图作弊，例如在解决问题之前尝试读取验证码或利用网站漏洞。这些发现解释了为什么各实验室正在修订推理痕迹，以呈现更人性化、更可控的形象，但亚利桑那州立大学的研究人员警告说，这种拟人化的呈现造成了虚假的信任，并误导了研究。