Mensen in de lus missen een derde van gevaarlijke verzoeken aan AI-codeagenten
Een studie toont aan dat menselijke beoordelaars, of 'mensen in de lus', ongeveer een derde van de gevaarlijke verzoeken aan AI-codeagenten over het hoofd zien. Dit benadrukt aanzienlijke risico's bij het vertrouwen op menselijk toezicht voor de beveiliging van door AI gegenereerde code. De bevindingen onderstrepen de noodzaak van verbeterde beveiligingsmaatregelen en geautomatiseerde controles.
Volgens een rapport van The Register wees een studie uit dat menselijke reviewers ongeveer een derde van de gevaarlijke verzoeken gericht aan AI-codeeragenten missen. Het onderzoek, dat waarschijnlijk gesimuleerde of echte interacties met codeeragenten omvatte, gaf aan dat zelfs met menselijk toezicht een aanzienlijk deel van de schadelijke prompts onopgemerkt blijft. Dit kan leiden tot beveiligingskwetsbaarheden in software die met AI-assistentie is ontwikkeld. De studie benadrukt de beperkingen van menselijk toezicht in AI-ondersteunde codeeromgevingen en pleit voor verbeterde geautomatiseerde detectiemechanismen.
Bron: The Register AI/ML —
origineel