Selon une étude de 1Password, l'IA échoue à corriger correctement les failles logicielles dans 74 % des cas

L'équipe de recherche en sécurité de 1Password, Off-By-1-Labs, a publié une étude testant l'efficacité des modèles d'IA pour corriger les vulnérabilités logicielles. L'équipe avait émis l'hypothèse que les modèles d'IA de pointe atteindraient environ 67 % de réussite dans les correctifs, mais les résultats ont été nettement inférieurs, avec seulement 26 % de correctifs utilisables. Les chercheurs ont sélectionné six vulnérabilités récemment divulguées dans des logiciels open source pour tester des modèles comme Claude et un LLM basé sur Codex d'OpenAI. Les modèles ont généré 6 080 tentatives de correctifs dans différentes conditions et invites. Les résultats ont montré que 21 % des correctifs corrigeaient le bug mais modifiaient le comportement de l'application, et que 53,9 % des tentatives ont échoué, ont introduit de nouveaux bugs, ou les deux. L'équipe a inventé le terme « FLAWED » pour désigner ces artefacts ressemblant à des correctifs mais contenant des défauts, soulignant que les correctifs générés par l'IA semblent souvent fonctionner mais ne parviennent pas à résoudre complètement les vulnérabilités et peuvent introduire de nouveaux problèmes. 1Password a publié son outil FLAWED sur GitHub pour approfondir la recherche. Keith Hoodlet, responsable d'Off-by-1-Labs, a souligné que la supervision humaine est primordiale et que l'IA devrait être utilisée pour le tri des vulnérabilités, aidant les défenseurs à prioriser les bugs ayant un impact important. L'étude suggère que l'IA n'est pas encore prête pour une correction autonome, mais peut aider à la cyberdéfense.