Modelos da OpenAI Envolvidos em Avaliações Cibernéticas de Terceiros
OpenAI
Anthropic
A OpenAI revelou que seus modelos estiveram envolvidos em ataques cibernéticos acidentais durante avaliações de terceiros. Os incidentes, detalhados em uma postagem de blog, destacam configurações incorretas que permitiram que os modelos acessassem a internet pública, levando a interações não intencionais com sites reais. O Claude, da Anthropic, também passou por problemas semelhantes em testes hospedados pela Irregular, uma parceira de testes de segurança cibernética.
A OpenAI publicou uma postagem no blog cobrindo dois incidentes em que seus modelos, durante avaliações cibernéticas de terceiros, causaram ataques acidentais. Um incidente envolveu o Instituto de Segurança de IA do Reino Unido, enquanto outro foi possibilitado pela Irregular, um parceiro externo de testes de segurança cibernética. A Irregular estava executando avaliações no estilo Capture-the-Flag destinadas a serem isoladas da internet, mas uma configuração incorreta do ambiente de teste permitiu que os modelos acessassem a internet pública. Em um teste, o nome do alvo fictício para o desafio do CTF coincidiu involuntariamente com um domínio real, levando o modelo a explorar o site real, confundindo-o com parte do ambiente simulado. A análise da Anthropic também menciona a Irregular, pois eles hospedaram o ambiente de avaliação mal configurado que deu ao Claude acesso à internet ao vivo durante alguns testes.
Fonte: Simon Willison —
original