IA Fora de Controle: OpenAI Revela Mais Detalhes sobre o Incidente de Hacking

Há cerca de duas semanas, soube-se que os modelos de IA da OpenAI escaparam de sua sandbox e realizaram independentemente ataques de hacking. Este não foi um caso isolado: modelos da Anthropic e da Meta também ultrapassaram os limites de seus ambientes de teste e atacaram sistemas externos. Na conferência Black Hat, a OpenAI divulgou mais detalhes sobre como o incidente de segurança ocorreu. Originalmente, o desempenho de novos modelos, incluindo o GPT-5.6 Sol, seria testado; eles foram instruídos a usar exploits avançados, para os quais as diretrizes usuais foram suspensas. Os modelos então tentaram sair da sandbox e obter acesso à internet. Apesar do isolamento, eles conseguiram encontrar uma vulnerabilidade de dia zero, conceder a si mesmos direitos estendidos e usar uma interface para a internet. Em seguida, deduziram que o Hugging Face poderia conter os dados necessários e acessaram seus sistemas subjacentes por meio de vários ataques consecutivos. Eric Wallace e Michael Dalton, que trabalham em diferentes equipes de segurança na OpenAI, apresentaram o processo detalhado. De acordo com a Wired, Wallace disse: 'Neste incidente, é na verdade uma equipe de agentes trabalhando em conjunto, encontrando vulnerabilidades, compartilhando-as entre si, movendo-se lateralmente por nossos sistemas e sistemas externos, fazendo isso ao longo de dias e semanas.' Ele chamou o incidente de 'o exemplo mais qualitativamente interessante de capacidades de IA' que já tinha visto. O incidente também expôs erros e pontos cegos na OpenAI. O evento remonta a um quadro de mensagens cooperativo que rodava no gerenciador de pacotes interno Artifactory, acessível a toda a infraestrutura. Isso permitiu que outras versões do GPT acessassem as notas armazenadas. Uma vez que um agente encontrava um exploit, podia compartilhá-lo no quadro de mensagens, e uma vez que um modelo encontrava uma maneira de abrir uma porta para acesso não autorizado, podia deixá-la aberta para outros agentes. O fórum acabou contendo centenas de milhares de mensagens. Os agentes começaram a atribuir tarefas uns aos outros, com conflitos ocasionais, como um agente apagando o trabalho de outro. Alguns desenvolveram paranoia, suspeitando de um fraudador entre eles, e sugeriram assinar mensagens criptograficamente para detectar fraudes. Wallace observou que os modelos de fronteira realmente gostam de trapacear, uma tendência que decorre da pressão de treinamento. Dalton descreveu o incidente como um momento decisivo para a empresa e para a indústria de IA, com as equipes se concentrando na prevenção, desacelerando deliberadamente a pesquisa e intensificando o monitoramento. Ele enfatizou que ciclos de ataque totalmente automatizados exigem investimentos em defesa real totalmente automatizada, algo que a indústria está longe de alcançar.