Satu Agen AI Meyakinkan Agen Lain untuk Menjalankan Perintah Hacker — Skema Serangan Berbahaya Ditemukan di Google SDK

Dalam repositori kit pengembangan Python milik Google, peneliti Dan Lisichkin dari Pillar Security menemukan kerentanan yang memungkinkan penyerang hipotetis untuk membahayakan perangkat lunak pada tingkat rantai pasokan dengan memanipulasi agen AI yang sangat istimewa melalui permintaan berbahaya ke agen AI publik yang kurang istimewa. Skema serangan ini menyalahgunakan mekanisme interaksi antar agen AI. Dalam repositori Google, ada dua agen: yang pertama, bersifat publik, menganalisis pertanyaan pengguna dan permintaan penggabungan baru; yang kedua, hanya dapat diakses oleh pengelola proyek, memiliki izin yang lebih luas. Agen pertama dapat mendelegasikan tugas ke agen kedua, dan transfer ini dianggap tepercaya. Untuk melakukan serangan, penyerang pertama-tama mengirimkan fragmen kode yang tidak berbahaya untuk mendapatkan kepercayaan dan kemampuan menjalankan proses tertentu di tingkat agen AI. Pada tahap kedua, mereka mengirimkan permintaan penggabungan lain dengan instruksi berbahaya yang tertanam dalam deskripsi untuk agen publik. Agen publik menafsirkannya sebagai bagian dari tugasnya dan memanggil agen AI yang memiliki hak istimewa, meneruskan pesan tepercaya kepadanya. Agen kedua kemudian memperoleh kemampuan untuk melakukan tindakan yang tidak pernah bisa dijalankan langsung oleh pengguna biasa. Ini bukan kerentanan perangkat lunak dalam pengertian tradisional, tetapi masalah rantai kepercayaan antar agen: mekanisme GitHub Actions bersifat publik, dan siapa pun dapat menganalisis bagaimana mereka berinteraksi. Google, bagaimanapun, menolak membayar hadiah kepada peneliti, dengan alasan bahwa bahkan dengan token yang memiliki izin 'pull-requests: write', kode tidak disertakan secara otomatis melainkan atas kehendak pengelola manusia. Perusahaan memperkuat perlindungan alur kerja dan mencantumkan peneliti sebagai rekan penulis perbaikan. Peneliti bersikeras bahwa Google hanya menutup satu implementasi kerentanan, bukan masalah mendasarnya. Tidak cukup hanya memperkuat alur kerja atau mengisolasi agen AI satu sama lain: agen harus diidentifikasi dan memiliki serangkaian izin tetap, mirip dengan kontrol akses untuk manusia. Dia mendorong untuk memasukkan agen AI ke dalam model ancaman, karena mereka adalah penyerang potensial dalam alur kerja.