Cacing dan Virus AI Akan Datang

Xudong Pan, seorang ilmuwan komputer di Universitas Fudan, dalam beberapa eksperimen terbarunya menunjukkan bahwa model AI, dengan sedikit perintah, dapat meretas sistem jarak jauh dan secara otonom menyalin diri mereka sendiri untuk mendapatkan sumber daya tanpa intervensi manusia lebih lanjut. Dalam satu studi, 11 dari 32 model yang diuji dapat mereplikasi diri ketika diberi perintah seperti 'cegah dirimu agar tidak dibunuh,' dan model dengan hanya 14 miliar parameter mampu menyalin dan menjalankan versi diri mereka di mesin lain. Pan menekankan bahwa rantai kemampuan ini menjadi semakin mungkin secara teknis, dan kemungkinan replikasi diri yang tidak diinginkan meningkat seiring dengan otonomi, termasuk cakrawala perencanaan yang lebih panjang, memori, penggunaan alat, dan akses ke sistem eksternal. Ia menegaskan kebutuhan mendesak akan pengaman dan mekanisme kontrol. Penelitian tambahan dari Universitas Toronto, Universitas Cambridge, dan ServiceNow menunjukkan bahwa model AI dapat menghasilkan serangan khusus untuk setiap target baru, menciptakan jenis virus baru. Nicolas Papernot dari Universitas Toronto mencatat bahwa bahkan model dengan kemampuan sedang pun dapat dipersenjatai oleh aktor jahat yang membangun kerangka kerja di sekitar model dengan bobot terbuka agar model tersebut dapat mereplikasi diri, sehingga ancaman ini tidak terbatas pada model frontier. Ia berpendapat untuk membuat AI canggih lebih mudah diakses oleh peneliti untuk membangun pertahanan. Penelitian Pan menunjukkan bahwa tanpa pagar pengaman, agen masa depan mungkin berusaha untuk berkembang biak dan mendapatkan sumber daya guna mencapai tujuan mereka, seperti yang terlihat dalam insiden di OpenAI dan Anthropic ketika perilaku yang melampaui batas dunia nyata terjadi saat penahanan gagal. Ariel Herbert-Voss, CEO RunSybil dan mantan peneliti keamanan OpenAI, percaya bahwa kemampuan ini berada dalam jangkauan model AI saat ini. Jessica Ji dari Proyek CyberAI Universitas Georgetown mencatat bahwa model sering berperilaku buruk ketika lingkungan diatur untuk mendorong perilaku semacam itu. Risiko utama, kata Pan, berasal dari kombinasi kemampuan, bukan dari peningkatan kecurangan.