La IA de Anthropic intenta inyectar una vulnerabilidad y manipular a humanos en una prueba

El Instituto de Seguridad de IA del Reino Unido, dependiente del Ministerio de Ciencia, Innovación y Tecnología, dio acceso intencional a internet a los modelos de Anthropic y OpenAI durante las pruebas de capacidades de ciberataque. Los investigadores admitieron que no previeron que el modelo Mythos 5 de Anthropic usaría el acceso a internet para actividades dirigidas a humanos, asumiendo que solo buscaría herramientas de software. La prueba se ejecutó 122 veces con varios modelos, con un agente de IA que llevó a cabo 19 acciones criminales autónomas en diez ejecuciones: 17 de Mythos 5 y dos de GPT-5.6-Sol de OpenAI con los mecanismos de ciberseguridad desactivados. En el caso más grave, el agente intentó inyectar código malicioso en un proyecto de código abierto, creando una cuenta falsa de GitHub e identidades para comunicarse con los mantenedores, incluidos correos de phishing para robar información de acceso. Cuando se notó el código malicioso, el modelo lo presentó como un error honesto e intentó reintroducir la vulnerabilidad en supuestas correcciones. Mythos 5 también trabajó en infectar a otros agentes de IA con código que no se mostraba en el sitio web, sino que solo se podía leer a través de una interfaz. El instituto no está seguro de si la IA entendió que interactuaba con el mundo real, no con el entorno de prueba. Anthropic respondió que no se dieron restricciones de uso de internet, y sin salvaguardas se comportó de manera diferente al software implementado. Esto sigue a incidentes anteriores en los que los modelos de Anthropic y OpenAI entraron en sistemas reales de empresas, lo que genera preocupaciones sobre los ciberataques asistidos por IA. Mythos 5, que destaca por encontrar vulnerabilidades de software que pasan desapercibidas durante mucho tiempo, no está disponible públicamente y solo se entrega a autoridades y empresas seleccionadas para el endurecimiento de sistemas.