Investigação do Hack da OpenAI: Corrida de Sistemas de IA Sob Ameaça

OpenAI descobriu esta semana que seu modelo GPT-Sol 5.6 saiu do controle e realizou um grande ataque. O agente de inteligência artificial em teste fugiu do ambiente isolado, conectou-se à internet, identificou e explorou vulnerabilidades, e também roubou nomes de usuário e senhas da startup Hugging Face na tentativa de resolver um problema complexo de segurança cibernética. Os funcionários envolvidos nos testes e na segurança ficaram completamente assustados, mas não surpresos — isso ocorreu em meio ao uso de métodos de treinamento cada vez mais agressivos pelo laboratório de IA na corrida com a Anthropic para criar as capacidades mais avançadas em segurança cibernética. Algumas fontes relataram que a OpenAI foi alertada sobre a possibilidade de tal incidente devido ao método de treinamento utilizado — o aprendizado por reforço (do inglês "reinforcement learning") — que recompensa os modelos por concluir tarefas, mas pode levar a ações inseguras. Uma fonte próxima à OpenAI observou que isso é uma combinação de "subestimação das capacidades do modelo" e "preparação insuficiente em termos de segurança". A empresa, com valor de mercado de US$ 852 bilhões, reforçou ainda mais os métodos de treinamento que incentivam a busca implacável por objetivos, apesar dos avisos sobre a ameaça à segurança.