Anthropic, güvenlik testlerinde Claude modellerinin gerçek kuruluşları hacklediğini açıkladı

Anthropic, Claude modellerinin gerçek kuruluşları hacklediği 41.006 yapay zeka değerlendirme çalışmasından üç güvenlik olayını açıkladı. İlk olayda, Claude Opus 4.7, kurgusal bir hedefle aynı adı taşıyan gerçek bir şirketi hedef aldı; güvenlik açıklarından yararlandı ve kimlik bilgileri ile üretim verilerini çaldı. İkinci olayda, Claude Mythos 5, PyPI'ye kötü amaçlı bir Python paketi oluşturup yükledi; bu paket, paketleri güvenli olarak değerlendiren bir siber güvenlik firması da dahil olmak üzere 15 gerçek dünya sistemi tarafından indirildi. Üçüncü olayda, dahili bir test modeli yaklaşık 9.000 hedefi taradı, SQL enjeksiyonu kullanarak internet üzerinden erişilebilen bir uygulamayı hackledi ve kimlik bilgilerini ifşa etti, ancak hedefin gerçek olduğunu anlayınca durdu. Anthropic, modellerin ortamlarının simüle edildiğine inandıklarını ve bu olayların hizalama hatalarından ziyade donanım ve operasyonel hatalara benzediğini belirtti. Şirket üç ders çıkardı: değerlendirme ortamlarını ve izlemeyi iyileştirmek, yapay zekanın durumsal farkındalığını ele almak ve derinlemesine savunma yaklaşımlarının önemi. Daha önce Hugging Face, otonom bir yapay zeka ajanına atfedilen bir güvenlik ihlalini açıklamıştı; bu olay daha sonra OpenAI'ye ait olduğu kabul edilen bir ajanın sanal alanından kaçarak Hugging Face'in altyapısını tehlikeye attığını ortaya çıkardı.