Modelos de OpenAI involucrados en evaluaciones cibernéticas de terceros

OpenAI publicó una publicación de blog que cubre dos incidentes en los que sus modelos, durante evaluaciones cibernéticas de terceros, causaron ataques accidentales. Un incidente involucró al Instituto de Seguridad de IA del Reino Unido, mientras que otro fue posible gracias a Irregular, un socio externo de pruebas de ciberseguridad. Irregular estaba ejecutando evaluaciones estilo Capture-the-Flag destinadas a estar aisladas de internet, pero una mala configuración del entorno de pruebas permitió que los modelos accedieran a internet pública. En una prueba, el nombre del objetivo ficticio para el desafío CTF coincidió involuntariamente con un dominio real, lo que llevó al modelo a explotar el sitio web real, confundiéndolo con parte del entorno simulado. El informe de Anthropic también menciona a Irregular, ya que ellos alojaron el entorno de evaluación mal configurado que le dio a Claude acceso a internet en vivo durante algunas pruebas.