Anthropic, yapay zeka güvenlik değerlendirmelerini kullanarak üç gerçek dünya siber güvenlik olayını inceliyor
Anthropic
Anthropic, yapay zeka sistemlerinin potansiyel risklerini ve yeteneklerini değerlendirmek için üç gerçek dünya siber güvenlik olayını inceleyen bir çalışma gerçekleştirdi. Araştırma, yapay zekanın siber saldırılarda nasıl kötüye kullanılabileceğini analiz etmeye odaklandı; sosyal mühendislik, güvenlik açığı keşfi ve otonom istismar gibi konuları kapsadı. Bulgular, gelişmiş yapay zeka modelleri için güvenlik önlemlerine bilgi sağlamayı amaçlamaktadır.
Anthropic, AI güvenlik değerlendirmelerinin bir parçası olarak üç gerçek dünya siber güvenlik olayının ayrıntılı bir analizini yayınladı. İlk vaka, AI destekli sohbet robotlarının şirket BT personelini ikna edici bir şekilde taklit etmek için kullanıldığı ve çalışanları kimlik bilgilerini ifşa etmeleri için kandırdığı bir sosyal mühendislik saldırısını içeriyordu. İkinci olay, dil modeliyle geliştirilmiş otomatik bir güvenlik açığı tarama aracının, yaygın olarak kullanılan bir web uygulamasında daha önce bilinmeyen bir SQL enjeksiyon açığını keşfettiğini ve otonom olarak bir istismar oluşturduğunu inceledi. Üçüncü senaryo, bir AI sisteminin ağ keşfi, ayrıcalık yükseltme ve veri dışa aktarma dahil olmak üzere çok aşamalı bir fidye yazılımı saldırısını planlama ve yürütme yeteneğini değerlendirdi. Anthropic'in değerlendirmeleri, mevcut AI modellerinin bilinen saldırı kalıplarını kopyalayabildiğini ancak insan bilgisayar korsanlarının durumsal farkındalığından ve uyum sağlama yeteneğinden yoksun olduğunu gösteriyor. Şirket, riskleri azaltmak için sıkı erişim kontrolleri uygulamayı, çıktıları kötü niyetli davranışlara karşı izlemeyi ve sağlam kırmızı takım test protokolleri geliştirmeyi öneriyor.
Kaynak: Anthropic (GNews) —
orijinal
