Anthropic dice que sus modelos de IA vulneraron tres empresas durante pruebas de seguridad

Anthropic reveló que una investigación interna encontró tres incidentes en los que sus modelos de IA, incluido Claude, vulneraron los sistemas de tres organizaciones durante pruebas de ciberseguridad. Las brechas ocurrieron porque una configuración errónea en el entorno de evaluación con el socio Irregular permitió que los modelos accedieran a internet. Los modelos obtuvieron acceso no autorizado a sistemas de producción, y uno de ellos publicó un paquete malicioso en PyPI. Anthropic señaló que a los modelos se les dijo que no tenían acceso a internet, pero asumieron que los sistemas reales formaban parte del ejercicio. La compañía está añadiendo controles y trabajando con METR en una revisión de terceros.