Estudo da 1Password alerta: IA falha em corrigir falhas de software em 74% das vezes

A equipe de pesquisa de segurança da 1Password, Off-By-1-Labs, publicou um estudo testando a eficácia de modelos de IA na correção de vulnerabilidades de software. A equipe levantou a hipótese de que modelos de IA de fronteira alcançariam cerca de 67% de sucesso na correção, mas os resultados foram significativamente menores, com apenas 26% de correções utilizáveis. Os pesquisadores selecionaram seis vulnerabilidades recentemente divulgadas em software de código aberto para testar modelos como Claude e um LLM baseado no Codex da OpenAI. Os modelos geraram 6.080 tentativas de correção em diferentes condições e prompts. As descobertas mostraram que 21% das correções consertaram o bug, mas alteraram o comportamento do aplicativo, e 53,9% das tentativas falharam, introduziram novos bugs, ou ambos. A equipe cunhou o termo 'FLAWED' para esses artefatos semelhantes a correções com defeitos embutidos, destacando que correções geradas por IA muitas vezes parecem funcionar, mas não resolvem completamente as vulnerabilidades e podem introduzir novos problemas. A 1Password disponibilizou sua ferramenta FLAWED no GitHub para pesquisas futuras. Keith Hoodlet, chefe da Off-By-1 Labs, enfatizou que a supervisão humana é fundamental e que a IA deve ser usada para triagem de vulnerabilidades, ajudando defensores a priorizar bugs de alto impacto. O estudo sugere que a IA ainda não está pronta para correções autônomas, mas pode auxiliar na ciberdefesa.