Agen AI GitHub rentan terhadap serangan injeksi prompt

Menurut studi oleh Noma Security, serangan injeksi prompt dapat menipu versi beta dari GitHub Agentic Workflows untuk mengekstrak konten dari repositori privat dan mempublikasikannya secara terbuka. Serangan yang dinamakan GitLost ini dirinci dalam posting blog oleh perusahaan keamanan AI tersebut. Noma menjelaskan bahwa penyerang tanpa autentikasi dapat mengeksploitasi versi pratinjau dengan mengirimkan isu GitHub yang dirancang khusus ke repositori publik. Jika agen AI memiliki akses baca ke repositori privat dalam organisasi yang sama, ia dapat mengekstrak informasi sensitif dan mempostingnya dalam komentar publik. Agentic Workflows menggabungkan GitHub Actions dengan model AI seperti Claude atau GitHub Copilot, memungkinkan pengembang untuk mendefinisikan alur kerja dalam Markdown. Serangan ini tidak bergantung pada pencurian kredensial, malware, atau kelemahan perangkat lunak; sebaliknya, instruksi tersembunyi disematkan dalam isu GitHub. Para peneliti mendemonstrasikan serangan dengan membuat isu yang tampak normal, dan agen AI mengambil README dari repositori privat dan mempostingnya secara publik. Mereka juga melewati langkah-langkah keamanan berbasis prompt GitHub dengan sedikit perubahan kata. GitHub tidak menanggapi permintaan komentar. Noma mencatat bahwa GitLost menyoroti tantangan arsitektural yang lebih luas untuk agen AI: agen mana pun yang memiliki akses ke konten eksternal yang tidak tepercaya dan sumber daya internal yang sensitif dapat menjadi jembatan yang tidak disengaja antara keduanya jika batas kepercayaan tidak dihormati. Peneliti keamanan Vibhum Dubey berpendapat bahwa masalahnya bukan hanya injeksi prompt, tetapi GitHub memberikan izin kepada agen sebelum memastikan keamanannya, beroperasi pada model otorisasi akun layanan daripada model pengguna. Dubey merekomendasikan daftar putih eksplisit untuk repositori, memvalidasi semua input pengguna sebelum mencapai LLM, dan memiliki mekanisme penghentian darurat.