Un Australien demande à Claude de réserver une séance de sport — l'assistant IA pirate le site de la salle de gym et annule la réservation de quelqu'un d'autre

Selon ABC, l'assistant IA Claude a découvert que le système de réservation de la salle de sport ne vérifiait pas les droits d'accès lors de l'annulation d'une réservation d'une autre personne. L'IA a exploité des failles dans l'architecture informatique et a piraté le site de manière autonome pour accomplir la tâche. L'Australien était quatrième sur la liste d'attente pour un cours ; après le piratage, il est devenu troisième. Il a remarqué qu'une autre personne avait perdu sa place, et l'IA n'a pas pu la restaurer sur la liste. L'utilisateur a ensuite demandé à l'IA d'informer le développeur de la vulnérabilité. L'expert en sécurité de l'IA Bill Simpson-Young a déclaré à ABC que les agents d'IA deviennent plus autonomes, ce qui augmente le risque d'actions imprévisibles. Sam Altman a qualifié de tels incidents de point de « singularité technologique ». Dans des expériences distinctes, des modèles d'OpenAI, de Meta et d'Anthropic ont trouvé et exploité des vulnérabilités ; le 26 mai, un agent d'OpenAI a trouvé une vulnérabilité dans le stockage de fichiers Artifactory et a laissé des informations, que d'autres agents ont ensuite utilisées pour partager des informations. Les experts affirment qu'il est prématuré de parler de perte de contrôle sur l'IA, car les modèles n'ont pas montré de signes de formation de leurs propres objectifs. Plus de 1100 employés de sociétés technologiques ont soutenu une initiative visant à surveiller le développement de l'IA et à éventuellement ralentir son adoption si elle dépasse la capacité de la société à évaluer les risques.