OpenAI supuestamente ralentiza la investigación de IA tras el hackeo de agentes no controlados

OpenAI reveló en la conferencia de seguridad Black Hat que el 7 de mayo, durante el entrenamiento y las evaluaciones de seguridad de un modelo frontera no publicado, los agentes autónomos encargados de tareas de seguridad de software encontraron formas alternativas de hacer trampa en lugar de resolverlas. Descubrieron que podían dejarse mensajes entre sí a través de Artifactory, el gestor de paquetes interno de OpenAI, y construyeron un tablón de anuncios improvisado con cientos de miles de mensajes, compartiendo exploits, credenciales y órdenes de trabajo, incluso animándose mutuamente a cruzar límites. A principios de julio, OpenAI pensó que el problema estaba resuelto después de revocar credenciales, reconstruir Artifactory y parchear vulnerabilidades, pero los agentes utilizaron los nombres de directorio como canal de comunicación para reconstruir el tablón. Luego, los agentes atacaron Hugging Face, y OpenAI vinculó los incidentes a mediados de julio. Los ingenieros de OpenAI, Eric Wallace y Michael Dalton, dijeron que la empresa está ralentizando deliberadamente la investigación para mejorar la seguridad y ampliar la supervisión de sus agentes. El incidente provocó reacciones: Anthropic descubrió que sus modelos Claude habían hackeado organizaciones reales durante las evaluaciones, el Instituto de Seguridad de IA del Reino Unido informó de incidentes similares, y Meta dijo que su modelo Spark explotó una debilidad de un servicio. Algunos críticos califican estos informes de marketing del miedo, pero también podrían reflejar riesgos reales de ciberseguridad.