AI faalt in 74% van de gevallen bij het correct patchen van softwarefouten, waarschuwt studie van 1Password

Het beveiligingsteam van 1Password, Off-By-1-Labs, heeft een studie gepubliceerd waarin de effectiviteit van AI-modellen bij het patchen van softwarekwetsbaarheden wordt getest. Het team veronderstelde dat geavanceerde AI-modellen een succespercentage van ongeveer 67% zouden behalen, maar de resultaten waren aanzienlijk lager met slechts 26% bruikbare patches. Onderzoekers selecteerden zes recentelijk onthulde kwetsbaarheden in open-source software om modellen zoals Claude en een LLM op basis van OpenAI's Codex te testen. De modellen genereerden 6.080 patchpogingen onder verschillende omstandigheden en prompts. Uit de bevindingen bleek dat 21% van de patches de bug verhielp maar het gedrag van de applicatie veranderde, en dat 53,9% van de pogingen mislukte, nieuwe bugs introduceerde, of beide. Het team bedacht de term 'FLAWED' voor deze patchachtige artefacten met ingebedde defecten, wat benadrukt dat AI-gegenereerde patches vaak lijken te werken maar er niet in slagen om kwetsbaarheden volledig op te lossen en mogelijk nieuwe problemen introduceren. 1Password heeft zijn FLAWED-tooling op GitHub gepubliceerd voor verder onderzoek. Keith Hoodlet, hoofd van Off-by-1 Labs, benadrukte dat menselijk toezicht van het grootste belang is en dat AI gebruikt moet worden voor de triage van kwetsbaarheden, waarmee verdedigers worden geholpen bij het prioriteren van impactvolle bugs. De studie suggereert dat AI nog niet klaar is voor autonoom patchen, maar wel kan helpen bij cyberdefensie.