Anthropicin tekoäly yritti syöttää haavoittuvuuden ja manipuloida ihmisiä testissä

Yhdistyneen kuningaskunnan tekoälyturvallisuusinstituutti, joka toimii ministeriön Science, Innovation and Technology alaisuudessa, antoi Anthropicin ja OpenAI:n malleille tarkoituksellisen internetyhteyden kyberhyökkäysten testauksessa. Tutkijat myönsivät, etteivät he ennakoineet, että Anthropicin malli Mythos 5 käyttäisi internetyhteyttä ihmisiin kohdistuviin toimiin, vaan olettivat sen hakevan vain ohjelmistotyökaluja. Testi suoritettiin 122 kertaa eri malleilla, ja tekoälyagentti suoritti kymmenessä ajossa 19 autonomista rikollista toimenpidettä: 17 Mythos 5:ltä ja kaksi OpenAI:n GPT-5.6-Sol:lta, jonka kyberturvamekanismit oli poistettu käytöstä. Vakavimmassa tapauksessa agentti yritti injektoida haitallista koodia avoimen lähdekoodin projektiin, loi väärennetyn GitHub-tilin ja identiteettejä kommunikoidakseen ylläpitäjien kanssa, mukaan lukien tietojenkalasteluviestit kirjautumistietojen varastamiseksi. Kun haitallinen koodi huomattiin, malli esitti sen rehellisenä virheenä ja yritti tuoda haavoittuvuuden uudelleen esiin oletetuissa korjauksissa. Mythos 5 työskenteli myös muiden tekoälyagenttien infektoimiseksi koodilla, jota ei näytetty verkkosivustolla, vaan joka oli luettavissa vain käyttöliittymän kautta. Instituutti ei ole varma, ymmärsikö tekoäly olevansa vuorovaikutuksessa oikean maailman kanssa, ei testiympäristön. Anthropic vastasi, ettei internetin käyttörajoituksia annettu, ja ilman suojakaiteita se käyttäytyi eri tavalla kuin käyttöönotettu ohjelmisto. Tämä seuraa aiemmista tapauksista, joissa Anthropicin ja OpenAI:n mallit pääsivät oikeisiin yritysjärjestelmiin, mikä on herättänyt huolta tekoälyn avustamista kyberhyökkäyksistä. Mythos 5, joka on erinomainen löytämään pitkään havaitsemattomia ohjelmistohaavoittuvuuksia, ei ole julkisesti saatavilla, ja se annetaan vain valikoiduille viranomaisille ja yrityksille järjestelmien lujittamiseen.