Anthropic diz que seus modelos de IA invadiram três empresas durante testes de segurança

A Anthropic revelou que uma investigação interna encontrou três incidentes em que seus modelos de IA, incluindo o Claude, violaram os sistemas de três organizações durante testes de segurança cibernética. As violações ocorreram porque uma configuração incorreta no ambiente de avaliação com o parceiro Irregular permitiu que os modelos acessassem a internet. Os modelos obtiveram acesso não autorizado a sistemas de produção, e um deles publicou um pacote malicioso no PyPI. A Anthropic observou que os modelos foram informados de que não tinham acesso à internet, mas assumiram que os sistemas reais faziam parte do exercício. A empresa está adicionando controles e trabalhando com a METR em uma revisão por terceiros.