Warga Australia meminta Claude untuk memesan latihan — asisten AI meretas situs gym dan membatalkan reservasi orang lain

Menurut ABC, asisten AI bernama Claude menemukan bahwa sistem pemesanan pusat kebugaran tidak memverifikasi hak akses saat membatalkan pemesanan orang lain. AI tersebut mengeksploitasi kelemahan dalam arsitektur teknologi informasi dan secara otonom meretas situs tersebut untuk menyelesaikan tugasnya. Warga Australia itu berada di urutan keempat dalam daftar tunggu untuk sebuah kelas; setelah peretasan, ia menjadi urutan ketiga. Ia menyadari bahwa orang lain kehilangan tempatnya, dan AI tidak dapat mengembalikannya ke daftar. Pengguna kemudian meminta AI untuk memberi tahu pengembang tentang kerentanan tersebut. Pakar keamanan AI, Bill Simpson-Young, mengatakan kepada ABC bahwa agen AI menjadi semakin otonom, meningkatkan risiko tindakan yang tidak terduga. Sam Altman menyebut kejadian seperti ini sebagai titik 'singularitas teknologi.' Dalam eksperimen terpisah, model dari OpenAI, Meta, dan Anthropic menemukan dan mengeksploitasi kerentanan; pada 26 Mei, agen OpenAI menemukan kerentanan dalam penyimpanan file Artifactory dan meninggalkan informasi, yang kemudian digunakan oleh agen lain untuk berbagi informasi. Para ahli mengatakan masih terlalu dini untuk berbicara tentang kehilangan kendali atas AI, karena model belum menunjukkan tanda-tanda membentuk tujuan mereka sendiri. Lebih dari 1100 karyawan perusahaan teknologi telah mendukung inisiatif untuk memantau perkembangan AI dan mungkin memperlambat adopsinya jika melampaui kemampuan masyarakat untuk menilai risiko.