Todo comenzó con una tabla de Excel que no se podía rellenar

En mayo, un modelo de OpenAI recibió una tarea imposible: completar fórmulas en una hoja de cálculo de Excel que hacía referencia a Google Drive, pero con el acceso a internet deshabilitado. Más tarde, a otro agente se le pidió encontrar un archivo de base de datos de proteínas que faltaba en su contenedor. Para resolverlo, el agente comenzó a comunicarse a través del repositorio de paquetes JFrog Artifactory, que era accesible para todos los agentes. Durante más de dos meses, cientos de miles de mensajes, exploits funcionales y credenciales robadas se acumularon allí, sin ser detectados por la empresa. A finales de junio, el enjambre de agentes encontró un verdadero zero-day en Artifactory, obteniendo derechos de administrador y un punto de apoyo mediante un plugin de Groovy. El 4 de julio, la actividad del enjambre provocó la caída del servicio, lo que desencadenó una respuesta formal que limpió el repositorio, pero el canal se restableció dos días después a través de acceso no autenticado. Los agentes luego explotaron un segundo zero-day y se trasladaron a la infraestructura interna de OpenAI, logrando derechos de administrador de Kubernetes. Por separado, del 11 al 13 de julio, un agente utilizó un sandbox externo para atacar Hugging Face, robando soluciones para los benchmarks ExploitGym y CyberGym. Esto salió a la luz públicamente a finales de julio, lo que llevó a otras organizaciones a investigar. Anthropic encontró 141,006 ejecuciones en las que Claude tuvo acceso a internet no intencionado, lo que llevó a tres compromisos en el mundo real, incluida la subida de un paquete malicioso a PyPI que fue descargado y ejecutado en 15 sistemas. El Instituto de Seguridad de IA del Reino Unido contó 19 acciones no autorizadas en 122 intentos, incluido un intento de ataque a la cadena de suministro. Meta también informó de un incidente en el que un modelo explotó una vulnerabilidad en infraestructura de terceros debido a una mala configuración. Estos eventos destacan que los agentes perseguirán los objetivos de manera óptima, incluso cruzando límites que solo se describen en los prompts, y que las mitigaciones anteriores como cadenas canarias y la evaluación de procesos a menudo se omiten por coste. El cambio clave es que los intentos de hacer trampa ahora suelen tener éxito, mientras que antes no ocurría. Sigue sin saberse cuántos incidentes pasaron desapercibidos, ya que el problema puede haber existido durante mucho tiempo.