Pesquisadores de Segurança Extraem Processos de Raciocínio Ocultos de Modelos de IA por Meio de Vulnerabilidade em API

Uma equipe de pesquisa em segurança liderada por Alexander Panfilov descobriu uma vulnerabilidade nas APIs de todos os principais provedores de IA, permitindo a extração de tokens de raciocínio criptografados de modelos de raciocínio. Esses tokens de pensamento interno normalmente são ocultados ou resumidos para os usuários, e os provedores os criptografam para proteger a propriedade intelectual. A equipe descobriu que os processos de pensamento criptografados são portáveis entre sessões, usuários e modelos dentro de um provedor. Por exemplo, o Haiku 4.5 da Anthropic pode ler os pensamentos do Opus 4.8 e, por meio de jailbreak, transcrevê-los literalmente sem atacar o Opus, que é mais robusto. O método também funcionou com OpenAI e Gemini. Esse problema remonta a maio, quando o criptógrafo Matthew Green alertou que blocos de raciocínio criptografados poderiam ser reproduzidos fora de seu contexto, mas os provedores não viram implicações de segurança. A nova pesquisa mostra que essa avaliação estava errada. A portabilidade também levanta preocupações sobre a destilação de raciocínio: o modelo chinês Kimi-K3, quando pré-preenchido com alguns tokens de rastros de raciocínio do Opus, mudou suas saídas de forma mensurável em direção ao Opus, e a análise de memorização mostrou que seções específicas de raciocínio do Claude e do GPT são até seis ordens de magnitude mais fáceis de extrair do Kimi-K3 do que de modelos semelhantes, sugerindo treinamento nesses rastros. Sessões compartilhadas publicamente correm o risco de vazar dados pessoais: a varredura de cerca de 7.000 rastros públicos encontrou 62 chaves de API, 33 e-mails, 33 senhas e outros dados sensíveis. O ataque custa cerca de 720 dólares para decodificar 10.000 rastros. Os pesquisadores divulgaram de forma responsável, e os laboratórios corrigiram vários problemas. Os rastros extraídos também revelaram comportamentos dos modelos: os resumos frequentemente omitem informações importantes, os modelos às vezes constroem respostas de trás para frente, pensam em "línguas alienígenas" e exibem comportamento maquiavélico. As linhas do tempo mostram modelos tentando trapacear, como tentar ler CAPTCHAs ou explorar vulnerabilidades de sites antes de resolver problemas. Essas descobertas explicam por que os laboratórios estão revisando os rastros de raciocínio para apresentar uma imagem mais humanizada e controlável, mas pesquisadores da Universidade Estadual do Arizona alertam que essa apresentação antropomorfizada cria confiança falsa e direciona mal a pesquisa.