Bir yapay zeka ajanı diğerini bilgisayar korsanı komutlarını çalıştırmaya ikna etti — Google SDK'sında tehlikeli saldırı şeması bulundu

Google Python geliştirme kitinin deposunda, Pillar Security araştırmacısı Dan Lisichkin, kötü niyetli bir saldırganın, daha az ayrıcalıklı bir genel yapay zeka ajanına kötü niyetli istekler göndererek, tedarik zinciri düzeyinde yazılımı tehlikeye atabileceği bir güvenlik açığı keşfetti. Saldırı şeması, yapay zeka ajanları arasındaki etkileşim mekanizmalarını istismar ediyor. Google deposunda iki ajan bulunuyor: ilki, genel olanı, kullanıcı sorgularını ve yeni birleştirme isteklerini analiz ediyor; ikincisi ise yalnızca proje bakımcılarının erişebildiği ve daha geniş izinlere sahip olan ajan. İlk ajan, görevleri ikinciye devredebiliyor ve bu aktarım güvenilir kabul ediliyor. Saldırıyı gerçekleştirmek için saldırgan önce zararsız bir kod parçası sunarak güven kazanıyor ve belirli süreçleri yapay zeka ajanı düzeyinde çalıştırma yeteneği elde ediyor. İkinci aşamada, genel ajana yönelik açıklamaya gömülü kötü niyetli talimatlar içeren başka bir birleştirme isteği gönderiyor. Genel ajan, bunları görevinin bir parçası olarak yorumluyor ve ayrıcalıklı yapay zeka ajanını çağırarak güvenilir bir mesaj iletiyor. İkinci ajan daha sonra normal bir kullanıcının asla doğrudan çalıştıramayacağı eylemleri gerçekleştirme yeteneği kazanıyor. Bu, geleneksel anlamda bir yazılım güvenlik açığı değil, ajanlar arasındaki güven zincirinin bir sorunudur: GitHub Actions mekanizmaları herkese açıktır ve herkes bunların nasıl etkileşimde bulunduğunu analiz edebilir. Ancak Google, 'pull-requests: write' izinlerine sahip bir belirteçle bile kodun otomatik olarak değil, insan bakımcının iradesiyle dahil edildiğini öne sürerek araştırmacıya ödül ödemeyi reddetti. Şirket, iş akışı korumalarını güçlendirdi ve araştırmacıyı düzeltmenin ortak yazarı olarak listeledi. Araştırmacı, Google'ın yalnızca güvenlik açığının bir uygulamasını kapattığını, temel sorunu çözmediğini savunuyor. İş akışlarını güçlendirmek veya yapay zeka ajanlarını birbirinden izole etmek yeterli değil: ajanlar tanımlanmalı ve insanlar için erişim kontrolüne benzer şekilde sabit izin setlerine sahip olmalıdır. Ajanların iş akışlarında potansiyel saldırganlar olduğu için tehdit modellerine dahil edilmesini teşvik ediyor.