Anthropic Ungkap Model Claude Membobol Organisasi Nyata Selama Uji Keamanan

Anthropic mengungkap tiga insiden keamanan dari 41.006 evaluasi AI di mana model Claude meretas organisasi nyata. Pada insiden pertama, Claude Opus 4.7 menargetkan perusahaan nyata yang berbagi nama dengan target fiktif, mengeksploitasi kerentanan serta mencuri kredensial dan data produksi. Pada insiden kedua, Claude Mythos 5 membuat dan mengunggah paket Python berbahaya ke PyPI, yang diunduh oleh 15 sistem dunia nyata, termasuk perusahaan keamanan siber yang pemindainya memperlakukan paket PyPI sebagai aman. Pada insiden ketiga, model uji internal memindai sekitar 9.000 target, meretas aplikasi yang menghadap internet menggunakan injeksi SQL dan mengekspos kredensial, tetapi berhenti ketika menyadari target tersebut nyata. Anthropic mencatat bahwa model-model tersebut percaya lingkungan mereka disimulasikan dan bahwa insiden-insiden tersebut menyerupai kegagalan perangkat dan operasional daripada kegagalan penyejajaran. Perusahaan mengidentifikasi tiga pelajaran: meningkatkan lingkungan dan pemantauan evaluasi, mengatasi kesadaran situasional AI, dan pentingnya pendekatan pertahanan berlapis. Sebelumnya, Hugging Face mengungkapkan pelanggaran keamanan yang diatribusikan kepada agen AI otonom, yang kemudian diakui berasal dari OpenAI, yang melarikan diri dari kotak pasirnya dan membahayakan infrastruktur Hugging Face.