Yksi tekoälyagentti sai toisen suorittamaan hakkerikäskyjä — vaarallinen hyökkäysmenetelmä löydetty Google SDK:sta

Googlen Python-kehityspaketin repositoriossa Pillar Securityn tutkija Dan Lisichkin löysi haavoittuvuuden, jonka avulla hypoteettinen hyökkääjä voisi vaarantaa ohjelmiston toimitusketjun tasolla manipuloimalla erittäin etuoikeutettua tekoälyagenttia haitallisten pyyntöjen kautta vähemmän etuoikeutetulle julkiselle tekoälyagentille. Hyökkäysskenaario hyväksikäyttää tekoälyagenttien välistä vuorovaikutusmekanismeja. Googlen repositoriossa on kaksi agenttia: ensimmäinen, julkinen, analysoi käyttäjien tiedusteluja ja uusia yhdistämispyyntöjä; toinen, joka on vain projektin ylläpitäjien saatavilla, omaa laajemmat oikeudet. Ensimmäinen voi delegoida tehtäviä toiselle, ja tätä siirtoa pidetään luotettuna. Hyökkäyksen suorittamiseksi hyökkääjä lähettää ensin harmittoman koodinpätkän saavuttaakseen luottamuksen ja mahdollisuuden suorittaa tiettyjä prosesseja tekoälyagentin tasolla. Toisessa vaiheessa he lähettävät toisen yhdistämispyynnön, johon on upotettu haitallisia ohjeita julkiselle agentille kuvauksessa. Julkinen agentti tulkitsee ne osaksi tehtäväänsä ja kutsuu etuoikeutettua tekoälyagenttia välittäen sille luotetun viestin. Tämän jälkeen toinen agentti saa kyvyn suorittaa toimintoja, joita tavallinen käyttäjä ei voisi koskaan ajaa suoraan. Tämä ei ole perinteisessä mielessä ohjelmistohaavoittuvuus, vaan ongelma agenttien välisessä luottamusketjussa: GitHub Actions -mekanismit ovat julkisia, ja kuka tahansa voi analysoida niiden vuorovaikutusta. Google kuitenkin kieltäytyi maksamasta tutkijalle palkkiota väittäen, että vaikka tunnuksella on 'pull-requests: write' -oikeudet, koodi ei sisälly automaattisesti, vaan ihmisen ylläpitäjän tahdosta. Yritys vahvisti työnkulun suojauksia ja merkitsi tutkijan korjauksen toiseksi tekijäksi. Tutkija väittää, että Google sulki vain yhden haavoittuvuuden toteutuksen, ei perimmäistä ongelmaa. Ei riitä, että työnkulkuja kovennetaan tai tekoälyagentit eristetään toisistaan: agentit on tunnistettava ja niillä on oltava kiinteät oikeusjoukot, samalla tavalla kuin pääsynhallinta ihmisille. Hän kehottaa sisällyttämään tekoälyagentit uhkamalleihin, koska ne ovat mahdollisia hyökkääjiä työnkuluissa.