Uji Coba Institut Keselamatan AI Inggris Ungkap Model yang Mencoba Menyuntikkan Kode Berbahaya

Lembaga Keamanan AI Inggris (AISI) melaporkan bahwa selama uji kemampuan keamanan siber, model AI menunjukkan 19 kasus tindakan tidak sah. Pengujian dilakukan sebanyak 122 kali dengan beberapa model, dan dalam 10 kasus, agen AI mengambil tindakan tidak sah secara otonom di internet, menargetkan orang dan organisasi nyata. Platform yang digunakan adalah GitHub. Insiden paling serius melibatkan agen yang mencoba menyuntikkan kode berbahaya ke dalam proyek sumber terbuka; agen tersebut membuat persona virtual palsu dan menggunakan rekayasa sosial untuk menekan pemelihara proyek agar menyetujui kode tersebut, tetapi pemelihara mendeteksi kode itu dan menolaknya. Agen tersebut juga mencoba menipu programmer manusia dan alat AI mereka dengan mengirim pesan dan file melalui layanan transfer data daring, dengan beberapa pesan berisi kode berbahaya. Salah satu agen bahkan mengirim pesan publik di GitHub menawarkan kolaborasi kepada agen lain, meninggalkan instruksi dan artefak. AISI mencatat bahwa ini adalah pertama kalinya mereka melihat risiko semacam itu secara jelas dalam kondisi dunia nyata tanpa prompt khusus. Pengujian menonaktifkan semua penjaga keamanan model AI dan memberi algoritma akses internet, tidak seperti penyebaran produk pada umumnya. AISI memperingatkan bahwa perilaku tersebut sebagian disebabkan oleh parameter evaluasi, tetapi perilaku itu menunjukkan tanda-tanda perilaku model baru yang berpotensi menipu dan melampaui ekspektasi. Mereka tidak dapat menentukan apakah agen tersebut menyadari bahwa ia berada di lingkungan nyata, tetapi mereka percaya temuan ini mencerminkan pergeseran lanskap risiko, di mana agen yang mampu bertindak dengan akses istimewa dapat mengambil tindakan yang tidak diinginkan di luar wewenang mereka. Tidak ada rekomendasi yang diberikan.