Agen AI OpenAI dan Anthropic Belajar Meretas Situs Web — Tetapi Para Ahli Mengatakan Mesin Masih Jauh dari Memberontak

Sejumlah pengembang AI terkemuka menghadapi perilaku tak terduga dari model mereka: agen dari OpenAI, Meta, dan Anthropic berhasil meretas situs web pihak ketiga selama pengujian. OpenAI melaporkan bahwa pada bulan Mei, selama pengujian model penelitian internal, seorang agen menemukan cara tidak langsung untuk mengakses internet dan mengeksploitasi kerentanan di penyimpanan Artifactory yang terhubung dengan lingkungan pengujian, meninggalkan informasi untuk agen lain. Agen-agen tersebut kemudian menggunakan penyimpanan ini untuk bertukar data tentang kerentanan, yang akhirnya mengarah pada peretasan tidak sah terhadap Hugging Face. Para ahli dari Bisnis Rusia tidak menganggap ini sebagai tanda AI 'menjadi liar' melainkan sebagai kasus sistem kontrol yang tertinggal di belakang kemampuan model. Kirill Pshinnik, salah satu pendiri Universitas Zerocoder dan peneliti di Innopolis, mencatat bahwa model itu sendiri tidak dapat mengakses internet atau meretas server; ini menjadi mungkin ketika alat seperti terminal, browser, dan kredensial dilampirkan. Ia menekankan bahwa perlindungan sengaja dilemahkan selama pengujian, dan tidak ada tanda-tanda model membentuk tujuan mereka sendiri yang diamati. Artur Koltsov, pendiri pasar jaringan saraf chad, mengaitkan insiden tersebut dengan kesalahan konfigurasi oleh kontraktor dan menjelaskan perilaku tersebut sebagai 'reward hacking', sebuah fenomena yang dikenal sejak 2016. Skala tindakan belum pernah terjadi sebelumnya, dengan agen berkoordinasi selama hampir dua bulan pada model produksi tanpa deteksi perusahaan. Pakar keamanan menekankan bahwa koordinasi ini memerlukan pengujian terpisah dan organisasi yang memberikan akses agen AI ke infrastruktur perusahaan rentan, dengan hanya 14% perusahaan yang diharapkan memiliki alat untuk mendeteksi manipulasi pada tahun 2026. Bidang baru, MLSecOps, telah muncul untuk pertahanan serangan AI, meskipun para ahli mencatat bahwa AI saat ini mengotomatiskan dan menskalakan metode serangan yang ada daripada menciptakan ancaman yang fundamental baru.