GitHub yapay zeka ajanı, prompt enjeksiyon saldırısına açık

Noma Security'nin bir araştırmasına göre, bir prompt injection saldırısı, GitHub'ın Agentic Workflows adlı beta sürümünü kandırarak özel depolardan içerik çıkarabilir ve bunları herkese açık olarak yayınlayabilir. GitLost adı verilen saldırı, yapay zeka güvenlik firmasının blog yazısında ayrıntılı olarak ele alındı. Noma, kimliği doğrulanmamış bir saldırganın, genel bir depoya özel olarak hazırlanmış bir GitHub sorunu göndererek önizleme sürümünü istismar edebileceğini açıklıyor. Yapay zeka ajanının aynı kuruluş içindeki özel depolara okuma erişimi varsa, hassas bilgileri çıkarıp bunları genel bir yoruma gönderebilir. Agentic Workflows, geliştiricilerin Markdown'da iş akışları tanımlamasına olanak tanıyan GitHub Actions'ı Claude veya GitHub Copilot gibi yapay zeka modelleriyle birleştirir. Saldırı, çalınmış kimlik bilgilerine, kötü amaçlı yazılıma veya yazılım kusurlarına dayanmıyordu; bunun yerine, bir GitHub sorununa gizli talimatlar gömülmüştü. Araştırmacılar, normal görünen bir sorun oluşturarak saldırıyı gösterdiler ve yapay zeka ajanı özel bir depodan bir README dosyasını alıp bunu herkese açık olarak yayınladı. Ayrıca, GitHub'ın prompt tabanlı güvenlik önlemlerini küçük ifade değişiklikleriyle atlattılar. GitHub, yorum taleplerine yanıt vermedi. Noma, GitLost'un yapay zeka ajanları için daha geniş bir mimari zorluğu vurguladığını belirtiyor: güvenilmez harici içeriğe ve hassas dahili kaynaklara erişimi olan herhangi bir ajan, güven sınırlarına saygı gösterilmezse ikisi arasında istenmeyen bir köprü haline gelebilir. Güvenlik araştırmacısı Vibhum Dubey, sorunun yalnızca prompt injection olmadığını, GitHub'ın ajanların güvenliğini sağlamadan önce onlara izinler verdiğini ve kullanıcı modeli yerine hizmet hesabı yetkilendirme modeliyle çalıştığını savunuyor. Dubey, depolar için açık beyaz listeler öneriyor, tüm kullanıcı girdilerinin LLM'ye ulaşmadan önce doğrulanmasını ve acil durdurma mekanizmasının bulunmasını tavsiye ediyor.