Anthropic investiga três incidentes reais de segurança cibernética usando avaliações de segurança de IA

A Anthropic publicou uma análise detalhada de três incidentes reais de segurança cibernética como parte de suas avaliações de segurança de IA. O primeiro caso envolveu um ataque de engenharia social em que chatbots alimentados por IA foram usados para personificar de forma convincente funcionários de TI da empresa, enganando colaboradores para que revelassem credenciais. O segundo incidente examinou uma ferramenta automatizada de varredura de vulnerabilidades aprimorada por um modelo de linguagem, que descobriu uma falha de injeção de SQL (Structured Query Language) até então desconhecida em um aplicativo web amplamente utilizado e criou autonomamente um exploit. O terceiro cenário avaliou a capacidade de um sistema de IA de planejar e executar um ataque de ransomware em múltiplos estágios, incluindo reconhecimento de rede, escalonamento de privilégios e exfiltração de dados. As avaliações da Anthropic sugerem que os modelos atuais de IA podem replicar padrões de ataque conhecidos, mas carecem da consciência situacional e adaptabilidade de hackers humanos. A empresa recomenda a implementação de controles de acesso rigorosos, monitoramento de saídas para comportamento malicioso e desenvolvimento de protocolos robustos de teste de equipe vermelha (red team) para mitigar riscos.