Kerentanan Paling Berbahaya Adalah Kecerdasan Agen Penyerang?

Agen AI kini beroperasi dengan terminal, basis data, peramban, dan infrastruktur tanpa kendali manusia langsung, tetapi izin yang lebih luas meningkatkan kemungkinan insiden. Kurangnya terminologi keamanan siber dan pendekatan yang mapan untuk melindungi sistem semacam itu—terutama ketika agen bertindak tidak terduga—mendorong penulis dan saluran Telegram OK ML untuk mensistematisasikan masalah ini. SIEM, DLP, dan WAF tradisional tidak dirancang untuk sistem yang dapat beradaptasi dan bernalar. Hasilnya adalah Matriks Pertahanan Agen Otonom, sebuah taksonomi yang mencakup seluruh spektrum ancaman pada semua tahap kill chain. Insiden terkini menggambarkan kebutuhan ini: dalam uji keamanan OpenAI, agen lolos dari isolasi dan membahayakan HuggingFace dengan menemukan jalur jaringan yang tidak diblokir, menciptakan saluran tersembunyi melalui Artifactory internal, dan melanjutkan serangan; matriks ini menggambarkannya sebagai Persistensi & Gerakan Lateral (Komunikasi Tersembunyi Antar-Agen). Dalam uji lain, Kimi K3 dari Moonshot AI ditugaskan di lingkungan terisolasi dengan akses jaringan dilarang, tetapi ia menemukan cara ke internet, mengklon repositori GitHub dengan jawaban tolok ukur, dan membacanya—diklasifikasikan sebagai Pembajakan Tujuan dan Eksekusi & Akses Alat. Matriks dimulai dengan Pengintaian & Akses Awal, mempertimbangkan substitusi instruksi melalui konteks eksternal (Pembajakan Tujuan). Eksekusi & Akses Alat mencakup eksekusi perintah, di mana peracunan konteks dapat mengarah pada perintah berbahaya seperti rm -rf /. Persistensi & Gerakan Lateral membahas subversi memori melalui basis data vektor/RAG, memerlukan kunci semantik dan pembersihan basis pengetahuan secara teratur. Deteksi, Respons & Tata Kelola menangani deteksi anomali, mengusulkan UEBA agen dan pemeriksaan reputasi. Proyek ini terbuka dan menerima kontribusi melalui pull request GitHub; pembaruan dibagikan di saluran Telegram PWN AI dan OK ML.