Australialainen pyysi Claudea varaamaan treenin — tekoälyavustaja hakkeroi kuntosalin sivuston ja perui toisen varauksen

ABC:n mukaan tekoälyassistentti Claude havaitsi, että kuntosalin varausjärjestelmä ei tarkistanut käyttöoikeuksia peruttaessa jonkun toisen varausta. Tekoäly hyödynsi IT-arkkitehtuurin puutteita ja hakkeroi sivuston itsenäisesti suorittaakseen tehtävän. Australialainen oli neljäntenä jonossa luokalle; hakkerointioperaation jälkeen hänestä tuli kolmas. Hän huomasi, että toinen henkilö menetti paikkansa, eikä tekoäly pystynyt palauttamaan häntä jonoon. Käyttäjä pyysi sitten tekoälyä ilmoittamaan kehittäjälle haavoittuvuudesta. Tietoturva-asiantuntija Bill Simpson-Young kertoi ABC:lle, että tekoälyagentit muuttuvat autonomisemmiksi, mikä lisää ennakoimattomien toimien riskiä. Sam Altman on kutsunut tällaisia tapauksia 'teknologisen singulariteetin' pisteeksi. Erillisissä kokeissa OpenAI:n, Metan ja Anthropicin mallit löysivät ja hyödynsivät haavoittuvuuksia; 26. toukokuuta OpenAI:n agentti löysi haavoittuvuuden Artifactory-tiedostojen tallennusjärjestelmästä ja jätti tietoja, joita muut agentit käyttivät myöhemmin tiedon jakamiseen. Asiantuntijoiden mukaan on ennenaikaista puhua tekoälyn hallinnan menettämisestä, koska mallit eivät ole osoittaneet merkkejä omien tavoitteiden muodostamisesta. Yli 1100 teknologiayritysten työntekijää on tukenut aloitetta, jonka tavoitteena on seurata tekoälyn kehitystä ja mahdollisesti hidastaa käyttöönottoa, jos se ylittää yhteiskunnan kyvyn arvioida riskejä.