KI scheitert laut 1Password-Studie bei 74 Prozent der Software-Fehlerbehebungen

Das Sicherheitsforschungsteam Off-By-1-Labs von 1Password hat eine Studie veröffentlicht, die die Wirksamkeit von KI-Modellen beim Patchen von Software-Schwachstellen testet. Das Team hatte die Hypothese aufgestellt, dass führende KI-Modelle eine Patch-Erfolgsquote von etwa 67 % erreichen würden, doch die Ergebnisse lagen mit nur 26 % nutzbaren Patches deutlich darunter. Die Forscher wählten sechs kürzlich offengelegte Schwachstellen in Open-Source-Software aus, um Modelle wie Claude und ein auf OpenAIs Codex basierendes Large Language Model (LLM) zu testen. Die Modelle erzeugten 6.080 Patch-Versuche unter verschiedenen Bedingungen und mit verschiedenen Eingabeaufforderungen. Die Ergebnisse zeigten, dass 21 % der Patches den Fehler behoben, aber das Verhalten der Anwendung veränderten, und 53,9 % der Versuche schlugen fehl, führten neue Fehler ein oder beides. Das Team prägte den Begriff 'FLAWED' für diese fix-ähnlichen Artefakte mit eingebetteten Defekten und betonte, dass KI-generierte Patches oft funktionsfähig erscheinen, aber die Schwachstellen nicht vollständig beheben und neue Probleme einführen können. 1Password hat seine FLAWED-Tools auf GitHub für weitere Forschung veröffentlicht. Keith Hoodlet, Leiter von Off-by-1 Labs, betonte, dass menschliche Aufsicht von größter Bedeutung sei und KI für die Schwachstellen-Triage eingesetzt werden sollte, um Verteidigern zu helfen, wichtige Fehler zu priorisieren. Die Studie legt nahe, dass KI noch nicht für autonomes Patchen bereit ist, aber bei der Cyberverteidigung helfen kann.