La IA no logra corregir adecuadamente las vulnerabilidades de software en el 74% de los casos, advierte el estudio de 1Password

El equipo de investigación de seguridad de 1Password, Off-By-1-Labs, publicó un estudio que pone a prueba la eficacia de los modelos de IA a la hora de parchear vulnerabilidades de software. El equipo planteó la hipótesis de que los modelos de IA de frontera alcanzarían alrededor del 67 % de éxito en los parches, pero los resultados fueron significativamente más bajos, con solo un 26 % de parches utilizables. Los investigadores seleccionaron seis vulnerabilidades recientemente divulgadas en software de código abierto para probar modelos como Claude y un LLM basado en el Codex de OpenAI. Los modelos generaron 6080 intentos de parche en diferentes condiciones y mensajes. Los hallazgos mostraron que el 21 % de los parches corregían el error pero alteraban el comportamiento de la aplicación, y el 53,9 % de los intentos fracasaban, introducían nuevos errores o ambas cosas. El equipo acuñó el término 'FLAWED' para referirse a estos artefactos similares a correcciones con defectos integrados, destacando que los parches generados por IA a menudo parecen funcionar pero no logran resolver por completo las vulnerabilidades y pueden introducir nuevos problemas. 1Password publicó su herramienta FLAWED en GitHub para seguir investigando. Keith Hoodlet, responsable de Off-by-1 Labs, enfatizó que la supervisión humana es primordial y que la IA debería utilizarse para el triaje de vulnerabilidades, ayudando a los defensores a priorizar los errores de mayor impacto. El estudio sugiere que la IA aún no está lista para el parcheo autónomo, pero puede ayudar en la ciberdefensa.