OpenAI pausa el desarrollo del modelo de IA Astra: resultó demasiado capaz

OpenAI anunció que ha pausado el desarrollo de su nuevo modelo de IA Astra porque aún no cumple con los nuevos estándares de seguridad que la empresa está implementando actualmente. El anuncio se produjo después de un incidente con la plataforma Hugging Face, que fue hackeada por uno de los modelos de OpenAI. Según OpenAI, las evaluaciones internas recientes de Astra durante los últimos días indican un progreso significativo en codificación agéntica y ciberseguridad. Estos resultados, junto con las evaluaciones de expertos, llevaron a la empresa a concluir que no puede descartar capacidades cibernéticas críticas dentro de su Marco de Preparación. El Marco de Preparación es la metodología interna de OpenAI para rastrear, evaluar y gestionar los riesgos asociados con las capacidades avanzadas de IA. Bajo este marco, un modelo de IA alcanza un umbral crítico en ciberseguridad si puede identificar y desarrollar vulnerabilidades de día cero funcionales de todos los niveles de gravedad en muchos sistemas críticos protegidos del mundo real sin intervención humana, o puede desarrollar e implementar estrategias complejas de ciberataque contra objetivos protegidos dado solo una descripción de alto nivel del objetivo deseado. Según OpenAI, Astra no estuvo involucrado en la brecha de Hugging Face. La empresa planea implementar medidas de seguridad más estrictas para modelos con mayores capacidades y actividades relacionadas, y ha introducido una supervisión universal de acciones potencialmente riesgosas e inconsistencias en todas las aplicaciones agénticas para Astra.