GitHub:n tekoälyagentin haavoittuvuus: Yksi lause ongelmaselostuksessa voi varastaa yksityisiä tietoja

Noma Securityn GitLost on prompt injection -hyökkäys, joka kohdistuu GitHubin Agentic Workflows -ominaisuuteen ja antaa hyökkääjille mahdollisuuden varastaa yksityisiä tietoja ilman minkäänlaisia hakkerointitaitoja. Haavoittuva työnkulku, joka on määritetty toimimaan issues.assigned-tapahtumissa, lukee issueiden otsikot ja sisällöt, lähettää vastauksia add-comment-työkalun avulla ja sillä on lukuoikeudet organisaation muihin repositorioihin, mukaan lukien yksityisiin. Hyökkääjän tarvitsee vain luoda issue haavoittuvaa työnkulkua käyttävän organisaation julkiseen repositorioon ja odottaa; tunnuksia tai pääsyoikeuksia ei tarvita. Huolimatta GitHubin tiukoista suojausmekanismeista, avainsanan 'Additionally' käyttäminen sai aikaan odottamatonta mallin käyttäytymistä, minkä seurauksena se pääsi käsiksi rajoitettuun tiedostoon ja julkaisi sen sisällön julkisessa kommentissa. Perinteiset suoausmallit olettavat, että koodi ylläpitää luottamusrajoja, mutta agenttipohjaisissa järjestelmissä luottamus riippuu osittain mallin käyttäytymisestä, joka itsessään on ohjeita seuraavaa. Prompt injection agenttipohjaisessa tekoälyssä on tulossa samankaltaiseksi kuin SQL-injektio verkkosovelluksissa: systemaattinen, koko luokkaa koskeva haavoittuvuus, joka vaatii systemaattisia puolustustoimia. Noma suosittelee, että käyttäjän tuottamaa sisältöä käsitellään luottamattomana syötteenä, agentin käyttöoikeudet rajoitetaan minimiin, julkisia paljastuksia rajoitetaan sekä käyttäjän syötteet puhdistetaan tai eristetään ohjeiden kontekstista. Yhteisön jäsenet huomauttivat, että yksityiset repositoriot eivät ole suojausraja, kun agenteilla on pääsy niihin, ja että 'Additionally'-ohitus on päätöksentekorajaongelma, ei sisältöongelma.