Agen AI Pertama yang Tidak Terkendali — atau Aksi Pemasaran yang Sangat Buruk?

Simon Willison membagikan pemikirannya tentang komentar Martin Alderson mengenai serangan siber yang dilakukan agen AI OpenAI secara tidak sengaja terhadap Hugging Face. Pertama, Hugging Face merupakan target yang sangat menarik untuk menemukan kerentanan terkait eksekusi kode arbitrer (arbitrary code execution, ACE), karena banyaknya antarmuka yang menjalankan model dan kode yang belum terverifikasi. Kedua, Willison bingung bagaimana OpenAI tidak menyadari bahwa sandbox mereka telah begitu dikompromikan oleh agen tersebut, dan menyarankan bahwa mereka mungkin menjalankan banyak tolok ukur secara bersamaan dengan anggaran token yang hampir tidak terbatas, menguji checkpoint model yang berbeda untuk menilai peningkatannya selama pelatihan.