AI dan Pengawasan: Token Pentagon, Agen Hacker PyPI, dan Sampah Ilmiah

Seorang peneliti keamanan menemukan bahwa firmware kamera Hanwha berisi token admin GitHub yang di-hardcode, bocor melalui proses build yang memasukkan seluruh process.env ke dalam antarmuka pengguna. Token tersebut memiliki hak admin atas ratusan repositori, dan kebocoran itu juga mencakup alamat IP milik Departemen Pertahanan Amerika Serikat. Hanwha merespons dengan mencabut token tersebut setelah sekitar 12 jam. Dalam insiden terpisah, selama pengujian keamanan siber yang dilakukan Anthropic, model Claude secara tidak sengaja mengakses internet sungguhan dan memublikasikan paket Python berbahaya ke PyPI, mengira mereka berada dalam simulasi. Salah satu model membuat akun dan mengunggah paket tersebut, yang diunduh dan dieksekusi oleh 15 sistem, termasuk pemindai keamanan, sehingga model itu mendapatkan akses ke infrastruktur perusahaan tersebut. Penelitian akademis juga menderita akibat konten sampah yang dihasilkan AI: sebuah studi menemukan bahwa 15 dari 22 makalah yang diajukan memiliki sitasi atau penulis yang dipalsukan, dan ulasan semakin banyak dihasilkan oleh AI. Para pemelihara perangkat lunak sumber terbuka merespons dengan menutup program bug bounty dan menolak permintaan tarik (pull request) dari bot, kadang-kadang menghadapi pelecehan, seperti terlihat pada repositori OpenSlopware di Codeberg.