1Passwordin tutkimus varoittaa: tekoäly epäonnistuu ohjelmistohaavoittuvuuksien korjaamisessa 74 prosentissa tapauksista

1Password:n tietoturvatutkimusryhmä Off-By-1-Labs julkaisi tutkimuksen, jossa testattiin tekoälymallien tehokkuutta ohjelmistohaavoittuvuuksien paikkauksessa. Ryhmä oletti, että huippumallit saavuttaisivat noin 67 prosentin onnistumisasteen paikkauksessa, mutta tulokset olivat merkittävästi heikommat: vain 26 prosenttia paikoista oli käyttökelpoisia. Tutkijat valitsivat kuusi vastikään julkistettua haavoittuvuutta avoimen lähdekoodin ohjelmistoista testatakseen malleja, kuten Claude ja OpenAI:n Codexiin perustuvaa kielimallia. Mallit tuottivat 6 080 paikkausyritystä eri olosuhteissa ja kehotteilla. Tulokset osoittivat, että 21 prosenttia paikoista korjasi virheen mutta muutti sovelluksen toimintaa, ja 53,9 prosenttia yrityksistä epäonnistui, aiheutti uusia virheitä tai molempia. Ryhmä otti käyttöön termin 'FLAWED' kuvaamaan tällaisia korjauksen kaltaisia artefakteja, joissa on piilovirheitä, korostaen että tekoälyn tuottamat paikat näyttävät usein toimivilta, mutta eivät täysin ratkaise haavoittuvuuksia ja voivat tuoda uusia ongelmia. 1Password julkaisi FLAWED-työkalunsa GitHubissa jatkotutkimuksia varten. Off-by-1 Labsin johtaja Keith Hoodlet korosti, että ihmisen valvonta on ensiarvoisen tärkeää ja tekoälyä tulisi käyttää haavoittuvuuksien luokitteluun, auttamaan puolustajia priorisoimaan merkittävät virheet. Tutkimus viittaa siihen, että tekoäly ei ole vielä valmis itsenäiseen paikkaukseen, mutta se voi avustaa kyberpuolustuksessa.