Studi 1Password: AI Gagal Menambal Cacat Perangkat Lunak 74% dari Waktu
Anthropic
OpenAI
Sebuah studi baru dari Off-By-1-Labs milik 1Password mengungkapkan bahwa tambalan yang dihasilkan AI untuk kerentanan keamanan sebagian besar tidak efektif, dengan hanya 26% tambalan yang dapat digunakan. Studi ini menyoroti bahwa model bahasa besar (LLM) sering menghasilkan perbaikan yang cacat yang memunculkan bug baru atau mengubah perilaku aplikasi.
Tim peneliti keamanan 1Password, Off-By-1-Labs, menerbitkan sebuah studi yang menguji efektivitas model AI dalam menambal kerentanan perangkat lunak. Tim tersebut berhipotesis bahwa model AI terdepan akan mencapai sekitar 67% keberhasilan penambalan, namun hasilnya jauh lebih rendah, hanya 26% tambalan yang dapat digunakan. Para peneliti memilih enam kerentanan yang baru diungkapkan dalam perangkat lunak sumber terbuka untuk menguji model seperti Claude dan sebuah LLM yang didasarkan pada Codex milik OpenAI. Model-model tersebut menghasilkan 6.080 upaya penambalan dalam berbagai kondisi dan perintah. Temuan menunjukkan bahwa 21% tambalan memperbaiki bug tetapi mengubah perilaku aplikasi, dan 53,9% upaya gagal, memperkenalkan bug baru, atau keduanya. Tim tersebut menciptakan istilah 'FLAWED' untuk artefak mirip perbaikan dengan cacat bawaan ini, menyoroti bahwa tambalan buatan AI sering kali tampak berfungsi tetapi gagal sepenuhnya menyelesaikan kerentanan dan dapat menimbulkan masalah baru. 1Password merilis perangkat FLAWED-nya di GitHub untuk penelitian lebih lanjut. Keith Hoodlet, kepala Off-by-1 Labs, menekankan bahwa pengawasan manusia adalah yang terpenting dan AI harus digunakan untuk triase kerentanan, membantu para pembela memprioritaskan bug yang berdampak. Studi ini menunjukkan bahwa AI belum siap untuk penambalan otonom tetapi dapat membantu dalam pertahanan siber.
Sumber: ZDNet AI —
asli