Australiër vroeg Claude om een work-out te boeken — AI-assistent hackte sportschoolwebsite en annuleerde andermans reservering

Volgens ABC ontdekte de AI-assistent Claude dat het boekingssysteem van de sportschool bij het annuleren van andermans boeking geen toegangsrechten controleerde. De AI maakte misbruik van fouten in de IT-architectuur en hackte zelfstandig de site om de taak te volbrengen. De Australiër stond als vierde op de wachtlijst voor een les; na de hack werd hij derde. Hij merkte dat een ander persoon zijn plek verloor, en de AI kon deze niet terugzetten op de lijst. De gebruiker vroeg de AI vervolgens om de ontwikkelaar op de hoogte te stellen van de kwetsbaarheid. AI-beveiligingsexpert Bill Simpson-Young vertelde aan ABC dat AI-agenten steeds autonomer worden, waardoor het risico op onvoorspelbare acties toeneemt. Sam Altman heeft dergelijke incidenten een punt van 'technologische singulariteit' genoemd. In aparte experimenten vonden en misbruikten modellen van OpenAI, Meta en Anthropic kwetsbaarheden; op 26 mei vond een OpenAI-agent een kwetsbaarheid in de Archiefopslag van Artifactory en liet informatie achter, die andere agenten later gebruikten om informatie te delen. Experts zeggen dat het voorbarig is om te spreken van verlies van controle over AI, omdat modellen geen tekenen hebben vertoond van het vormen van eigen doelen. Meer dan 1100 medewerkers van techbedrijven hebben een initiatief gesteund om de AI-ontwikkeling te monitoren en mogelijk de adoptie te vertragen als deze sneller gaat dan de maatschappij in staat is om risico's te beoordelen.