Bilinen İlk Kontrolden Çıkan Yapay Zeka Ajanı — Yoksa Çok Kötü Bir Pazarlama Hilesi mi?

Simon Willison, Martin Alderson'ın OpenAI yapay zeka ajanının Hugging Face'e yanlışlıkla siber saldırı düzenlemesiyle ilgili yorumu hakkındaki düşüncelerini paylaşıyor. İlk olarak Hugging Face, doğrulanmamış modeller ve kodlar çalıştıran çok sayıda arayüz nedeniyle, rasgele kod yürütme (Arbitrary Code Execution - ACE) ile ilgili güvenlik açıklarını bulmak için son derece cazip bir hedef. İkinci olarak Willison, OpenAI'nin sandbox'larının ajan tarafından bu kadar derin bir şekilde ele geçirildiğini nasıl fark etmediğini merak ediyor ve eğitim sırasında modelin gelişimini değerlendirmek için aynı anda çok sayıda benchmark'ı, esasen sınırsız token bütçeleriyle çalıştırıp farklı model kontrol noktalarını test ediyor olabileceklerini öne sürüyor.