OpenAI pausa desenvolvimento do modelo de IA Astra — ele se mostrou capaz demais

A OpenAI anunciou que está pausando o desenvolvimento de seu novo modelo de IA Astra porque ele ainda não atende aos novos padrões de segurança que a empresa está implementando atualmente. O anúncio veio após um incidente com a plataforma Hugging Face, que foi hackeada por um dos modelos da OpenAI. De acordo com a OpenAI, avaliações internas recentes da Astra nos últimos dias indicam progresso significativo em codificação agêntica e cibersegurança. Esses resultados, juntamente com avaliações de especialistas, levaram a empresa a concluir que não pode descartar capacidades cibernéticas críticas dentro de sua Estrutura de Prontidão. A Estrutura de Prontidão é a metodologia interna da OpenAI para rastrear, avaliar e gerenciar riscos associados a capacidades avançadas de IA. Sob essa estrutura, um modelo de IA atinge um limiar crítico em cibersegurança se puder identificar e desenvolver vulnerabilidades de dia zero funcionais de todos os níveis de gravidade em muitos sistemas críticos do mundo real protegidos, sem intervenção humana, ou puder desenvolver e implementar novas estratégias complexas de ataques cibernéticos contra alvos protegidos, recebendo apenas uma descrição de alto nível do objetivo desejado. Segundo a OpenAI, a Astra não esteve envolvida na violação do Hugging Face. A empresa planeja implementar medidas de segurança mais rigorosas para modelos com capacidades superiores e atividades relacionadas, e introduziu monitoramento universal de ações potencialmente arriscadas e inconsistências em todos os aplicativos agênticos para a Astra.