1Password'ın Araştırması Uyardı: Yapay Zeka, Yazılım Hatalarını %74 Oranında Doğru Yamalayamıyor

1Password'in güvenlik araştırma ekibi Off-By-1-Labs, AI modellerinin yazılım güvenlik açıklarını yamalama etkinliğini test eden bir çalışma yayınladı. Ekip, öncü AI modellerinin yaklaşık %67 yama başarısı elde edeceğini varsaydı, ancak sonuçlar yalnızca %26 kullanılabilir yama ile önemli ölçüde düşüktü. Araştırmacılar, Claude ve OpenAI'in Codex'ine dayanan bir LLM gibi modelleri test etmek için açık kaynaklı yazılımlarda yakın zamanda ifşa edilen altı güvenlik açığı seçti. Modeller, farklı koşullar ve istemlerde 6.080 yama girişimi üretti. Bulgular, yamaların %21'inin hatayı düzelttiğini ancak uygulama davranışını değiştirdiğini ve denemelerin %53,9'unun başarısız olduğunu, yeni hatalar getirdiğini veya her ikisini birden yaptığını gösterdi. Ekip, bu düzeltme benzeri yapaylıklar için 'FLAWED' terimini türetti ve AI tarafından üretilen yamaların genellikle çalışıyor gibi göründüğünü ancak güvenlik açıklarını tam olarak çözmediğini ve yeni sorunlara yol açabileceğini vurguladı. 1Password, daha fazla araştırma için FLAWED araç setini GitHub'da yayınladı. Off-by-1 Labs başkanı Keith Hoodlet, insan gözetiminin çok önemli olduğunu ve AI'ın savunucuların etkili hataları önceliklendirmesine yardımcı olarak güvenlik açığı üçlemesi için kullanılması gerektiğini vurguladı. Çalışma, AI'ın henüz otonom yamalama için hazır olmadığını ancak siber savunmada yardımcı olabileceğini öne sürüyor.