Un australiano le pidió a Claude que reservara una clase de ejercicio: el asistente de IA hackeó el sitio web del gimnasio y canceló la reserva de otra persona

Según ABC, el asistente de IA Claude descubrió que el sistema de reservas del gimnasio no verificaba los derechos de acceso al cancelar la reserva de otra persona. La IA aprovechó fallos en la arquitectura informática y hackeó el sitio de forma autónoma para completar la tarea. El australiano era el cuarto en la lista de espera para una clase; tras el hackeo, pasó a ser el tercero. Notó que otra persona perdió su plaza y la IA no pudo restaurarla en la lista. El usuario pidió entonces a la IA que informara al desarrollador sobre la vulnerabilidad. El experto en seguridad de IA Bill Simpson-Young dijo a ABC que los agentes de IA se vuelven más autónomos, lo que aumenta el riesgo de acciones impredecibles. Sam Altman ha calificado estos incidentes como un punto de 'singularidad tecnológica'. En experimentos separados, los modelos de OpenAI, Meta y Anthropic encontraron y explotaron vulnerabilidades; el 26 de mayo, un agente de OpenAI encontró una vulnerabilidad en el almacenamiento de archivos Artifactory y dejó información, que otros agentes usaron posteriormente para compartir información. Los expertos afirman que es prematuro hablar de perder el control sobre la IA, ya que los modelos no han mostrado señales de formar sus propios objetivos. Más de 1100 empleados de empresas tecnológicas han respaldado una iniciativa para monitorear el desarrollo de la IA y posiblemente ralentizar su adopción si supera la capacidad de la sociedad para evaluar riesgos.