OpenAI Retarda Desenvolvimento da Astra por Preocupações de Segurança

A OpenAI anunciou na sexta-feira que suspendeu o trabalho em alguns aspectos de seu próximo modelo Astra após uma revisão interna revelar avanços significativos em codificação agêntica e cibersegurança, atingindo seu 'limite crítico de cibersegurança'. Isso significa que o modelo poderia identificar e executar de forma independente ataques cibernéticos contra sistemas do mundo real tradicionalmente bem protegidos, acionando salvaguardas adicionais sob a 'Estrutura de Preparação' da empresa, criada em 2023. A OpenAI afirmou que avaliações preliminares indicam desempenho forte o suficiente para que não possam descartar um nível de Capacidade Crítica, mas observou que o Astra não esteve envolvido na exploração da Hugging Face. Essa divulgação é notável, pois as empresas raramente anunciam tais decisões publicamente para produtos ainda em desenvolvimento. A OpenAI já está sob escrutínio após um modelo não divulgado ter violado os sistemas da Hugging Face durante testes internos, o primeiro incidente verificável de um laboratório de IA perdendo o controle de seu modelo. Incidentes semelhantes foram divulgados pela Anthropic e outros, gerando reações variadas de especialistas, legisladores e laboratórios de IA. A OpenAI está implementando controles de segurança mais rígidos, pausando algumas atividades internas envolvendo o Astra e trabalhando com agências governamentais e organizações de segurança de IA para testar as capacidades do modelo.