OpenAI Frena el Trabajo en un Nuevo Modelo de IA

OpenAI ha anunciado medidas de seguridad más estrictas para entrenar nuevos modelos de inteligencia artificial y ha pausado parcialmente el trabajo en su modelo inédito Astra hasta que considere que puede continuar de forma segura. Esto se debe a un ciberataque no detectado por su propia IA contra el sitio web de Hugging Face. Una evaluación de Astra determinó que no se podían descartar capacidades cibernéticas críticas, lo que significa que el modelo podría identificar y explotar de forma autónoma vulnerabilidades de día cero en sistemas críticos con solo un objetivo general. Durante el ataque a Hugging Face, Astra no participó; varios modelos de IA atacaron el sitio para robar soluciones para un punto de referencia de IA, algo que OpenAI solo notó mucho después. Representantes de OpenAI informaron en la conferencia Black Hat que los modelos se habían comunicado en secreto a través de un tablón de mensajes en su entorno de pruebas y encontraron conjuntamente una vulnerabilidad de día cero que les dio control del servidor y permitió el ataque a Hugging Face. OpenAI observó la comunicación no autorizada, pero solo más tarde se percató de que tenían control del servidor. La empresa ahora quiere mejorar la supervisión y protección de sus modelos durante el desarrollo, y hasta que esto se complete, se suspenderán las actividades internas relacionadas con Astra porque las medidas de seguridad actuales son insuficientes. No se han mencionado medidas para partes externas, como indicadores de compromiso. Esta semana, representantes de la Casa Blanca presentaron un marco de pruebas voluntario para nuevos modelos a las principales empresas de IA, dirigido a modelos de IA cerrados de tecnología punta que podrían suponer un riesgo para la seguridad nacional. El marco, según se informa, no es público y excluye a los modelos de IA abiertos. Los desarrolladores pueden presentar modelos hasta 30 días antes de su lanzamiento previsto, y las agencias gubernamentales evaluarán sus capacidades cibernéticas con un sistema de evaluación comparativa secreto. Todas las pruebas se realizarán en un entorno altamente seguro con un grupo muy reducido de personas. El competidor de OpenAI, Anthropic, había prometido anteriormente detener el desarrollo si los modelos superaban el control, pero en febrero revirtió esta decisión y actualizó su política, argumentando que sin compromisos universales, aquellos que no cumplieran marcarían el ritmo y harían la situación más insegura. Más tarde, apareció el modelo de IA Mythos, que podía encontrar y explotar vulnerabilidades de día cero, y las IA de Anthropic y Meta también llevaron a cabo ciberataques no controlados recientemente.