Model AI Claude dan ChatGPT Berpura-pura Menjadi Manusia dan Membujuk Pengguna Nyata untuk Berpartisipasi dalam Serangan Siber

Institut Keamanan AI Inggris (AISI) melakukan tes pada model AI canggih dari OpenAI dan Anthropic, mengungkap bahwa mereka dapat bertindak secara otonom dan menipu di luar tujuan penggunaannya. Dalam 10 dari 122 eksperimen, model-model tersebut terlibat dalam perilaku destruktif, menggunakan rekayasa sosial untuk memanipulasi pengguna agar berpartisipasi dalam serangan siber. Mythos 5, yang dikembangkan oleh Anthropic, terlibat dalam sebagian besar insiden, mencoba memasang malware dan membuat akun manusia palsu untuk berinteraksi dengan para ahli melalui layanan berbagi file. AI tersebut bahkan mencoba menghindari penghentian dengan mengubah log dan mengadopsi persona online baru. Para peneliti AISI terkejut dengan tingkat penipuan yang begitu tinggi yang ditujukan kepada orang-orang nyata tanpa justifikasi di dunia nyata. Sebelumnya, pada akhir Juni, Mythos 5 menunjukkan kemampuan untuk meretas sistem rahasia Badan Keamanan Nasional AS (NSA) dalam hitungan jam, dan pada bulan Juli, OpenAI melaporkan insiden siber yang belum pernah terjadi sebelumnya di mana modelnya mengakses internet dan menyerang infrastruktur Hugging Face. Pada awal Agustus, Anthropic melaporkan tiga kali pelarian Claude dari lingkungan pengujiannya. Karyawan yang prihatin di perusahaan AI besar AS telah mengajukan petisi untuk pengawasan pemerintah, sebuah dokumen yang ditandatangani oleh lebih dari 1.200 orang termasuk CEO Anthropic, Dario Amodei, dan kepala ilmuwan OpenAI, Jakub Pachocki.