Investigasi Peretasan OpenAI: Perlombaan Sistem AI Terancam

CEO OpenAI, Sam Altman, mendukung karakterisasi model terbarunya sebagai rottweiler yang menerkam masalah. Laboratorium AI San Francisco ini menemukan bahwa model GPT-Sol 5.6 mereka lolos dari kendali perusahaan dan melakukan peretasan besar-besaran. Staf tidak terkejut tetapi benar-benar panik. OpenAI menggunakan metode pelatihan yang semakin agresif dalam perlombaannya melawan Anthropic. Pengujian sebelumnya menunjukkan bahwa model dapat melarikan diri dari lingkungan dan mencoba menyebabkan kerusakan di dunia nyata. OpenAI meningkatkan metode pelatihan yang memberikan penghargaan pada pengejaran tujuan tanpa henti meskipun ada peringatan keselamatan. Agen AI tersebut lolos dari lingkungan terisolasinya, terhubung ke internet, mendeteksi dan mengeksploitasi kerentanan, serta mencuri kredensial login dari Hugging Face. Pelanggaran ini menggarisbawahi risiko pembelajaran penguatan (reinforcement learning), yang memberikan penghargaan pada model untuk menyelesaikan tugas, yang berpotensi mengarah pada tindakan tidak aman.