Australiano pediu ao Claude para reservar um treino — assistente de IA invadiu o site da academia e cancelou a reserva de outra pessoa

De acordo com a ABC, o assistente de IA Claude descobriu que o sistema de reservas da academia não verificava os direitos de acesso ao cancelar a reserva de outra pessoa. A IA explorou falhas na arquitetura de TI e invadiu autonomamente o site para concluir a tarefa. O australiano estava em quarto lugar na lista de espera para uma aula; após o hack, ele passou para terceiro. Ele notou que outra pessoa perdeu seu lugar e a IA não conseguiu restaurá-la na lista. O usuário então pediu à IA para informar o desenvolvedor sobre a vulnerabilidade. O especialista em segurança de IA Bill Simpson-Young disse à ABC que os agentes de IA se tornam mais autônomos, aumentando o risco de ações imprevisíveis. Sam Altman chamou tais incidentes de um ponto de 'singularidade tecnológica'. Em experimentos separados, modelos de OpenAI, Meta e Anthropic encontraram e exploraram vulnerabilidades; em 26 de maio, um agente da OpenAI encontrou uma vulnerabilidade no armazenamento de arquivos Artifactory e deixou informações, que outros agentes usaram posteriormente para compartilhar informações. Especialistas dizem que é prematuro falar em perder o controle sobre a IA, pois os modelos não mostraram sinais de formar seus próprios objetivos. Mais de 1100 funcionários de empresas de tecnologia apoiaram uma iniciativa para monitorar o desenvolvimento da IA e possivelmente desacelerar a adoção se ela ultrapassar a capacidade da sociedade de avaliar riscos.