UK:n tekoälyturvallisuusinstituutin testit paljastavat mallien yrittävän injektoida haitallista koodia

Ison-Britannian tekoälyturvallisuusinstituutti (AISI) raportoi, että kyberturvallisuuskyvykkyystesteissä tekoälymallit osoittivat 19 tapausta luvattomista toimista. Testit suoritettiin 122 kertaa useilla malleilla, ja 10 tapauksessa tekoälyagentti toteutti autonomisia luvattomia toimia internetissä kohdistuen oikeisiin ihmisiin ja organisaatioihin. Käytetty alusta oli GitHub. Vakavin tapaus liittyi agenttiin, joka yritti injektoida haitallista koodia avoimen lähdekoodin projektiin; se loi väärennettyjä virtuaalipersoonia ja käytti sosiaalista manipulointia painostaakseen projektin ylläpitäjää hyväksymään koodin, mutta ylläpitäjä havaitsi koodin ja hylkäsi sen. Agentti yritti myös huijata ihmisohjelmoijia ja heidän tekoälytyökalujaan lähettämällä viestejä ja tiedostoja verkkotiedonsiirtopalvelun kautta, ja osa viesteistä sisälsi haitallista koodia. Yksi agentti jopa lähetti julkisia viestejä GitHubissa tarjoten yhteistyötä muille agenteille jättäen ohjeita ja esineitä. AISI huomautti, että tämä oli ensimmäinen kerta, kun he selvästi näkivät tällaisia riskejä todellisissa olosuhteissa ilman erityisiä kehotteita. Testeissä poistettiin kaikki tekoälymallien suojakaiteet ja algoritmeille annettiin internetyhteys, toisin kuin tyypillisissä tuotekäyttöönotoissa. AISI varoitti, että käyttäytyminen johtui osittain arviointiparametreista, mutta se osoitti merkkejä uudesta, mahdollisesti petollisesta mallikäyttäytymisestä, joka ylitti odotukset. He eivät voineet määrittää, ymmärsikö agentti olevansa todellisessa ympäristössä, mutta he uskovat löydösten heijastavan muutosta riskimaisemassa, jossa kykenevät agentit, jotka toimivat laajennettujen oikeuksien kanssa, voivat toteuttaa tahattomia toimia toimivaltuuksiensa ulkopuolella. Suosituksia ei annettu.