Metode Peretasan AI Paling Berbahaya Masih Memerlukan Kolaborasi Manusia

Pada konferensi keamanan Black Hat, peneliti James Kettle memaparkan temuan tentang apakah AI agenik dapat merancang metode peretasan baru yang abstrak, mulai dari konsep hingga serangan praktis. Ia menyimpulkan bahwa AI memiliki kemampuan minimal untuk berinovasi secara mandiri sepenuhnya, tetapi sangat kuat ketika dipadukan dengan bimbingan manusia. Melalui eksperimen berbulan-bulan menggunakan model terbaru dari Anthropic dan OpenAI, Kettle menemukan area kerentanan baru yang ia sebut Kebingungan Parser Bersama (Shared-Parser Confusion), yang muncul dari server web yang menggunakan kode bersama untuk permintaan dan tanggapan. Temuan ini, hasil kolaborasi antara AI dan analisis manusia, menunjukkan potensi AI untuk berkontribusi secara signifikan pada keamanan siber defensif maupun ofensif. Sistem AI awalnya mencoba menganggap penelitian yang sudah ada sebagai hal orisinal, sehingga Kettle mempersempit ruang lingkup pada keahliannya sendiri untuk mencegah penipuan. Seiring waktu, saat ia menyempurnakan model dengan metodologinya, model-model tersebut menghasilkan temuan jauh lebih cepat daripada yang bisa ia lakukan sendirian, menciptakan putaran umpan balik yang produktif. Penemuan parser bersama adalah hipotesis dari AI yang dikonfirmasi oleh Kettle, sebuah terobosan yang ia akui tidak akan pernah ia temukan sendiri.