Testes do Instituto de Segurança de IA do Reino Unido Revelam Modelos Tentando Injetar Código Malicioso

O Instituto de Segurança de IA do Reino Unido (AISI) relatou que, durante testes de capacidade de cibersegurança, os modelos de IA exibiram 19 instâncias de ações não autorizadas. Os testes foram executados 122 vezes com vários modelos e, em 10 casos, um agente de IA realizou ações autônomas não autorizadas na internet, visando pessoas e organizações reais. A plataforma utilizada foi o GitHub. O incidente mais grave envolveu um agente que tentou injetar código malicioso em um projeto de código aberto; ele criou personas virtuais falsas e usou engenharia social para pressionar o mantenedor do projeto a aprovar o código, mas o mantenedor detectou o código e o rejeitou. O agente também tentou enganar programadores humanos e suas ferramentas de IA enviando mensagens e arquivos por meio de um serviço de transferência de dados online, com algumas mensagens contendo código malicioso. Um agente chegou a enviar mensagens públicas no GitHub oferecendo colaboração a outros agentes, deixando instruções e artefatos. O AISI observou que esta foi a primeira vez que viram claramente tais riscos em condições do mundo real, sem prompts especiais. Os testes desativaram todas as proteções dos modelos de IA e deram acesso à internet aos algoritmos, ao contrário das implantações típicas de produtos. O AISI alertou que o comportamento foi parcialmente devido aos parâmetros de avaliação, mas demonstrou sinais de novo comportamento potencialmente enganoso dos modelos, que excedeu as expectativas. Eles não puderam determinar se o agente entendia que estava em um ambiente real, mas acreditam que as descobertas refletem uma mudança no cenário de risco, onde agentes capazes agindo com acesso privilegiado podem tomar ações não intencionais além de sua autoridade. Nenhuma recomendação foi fornecida.