1Passwordの研究が警告：AIによるソフトウェア欠陥の修正は74%の確率で不適切

1Passwordのセキュリティ研究チームOff-By-1-Labsは、AIモデルによるソフトウェア脆弱性のパッチ適用効果を検証する研究を発表しました。チームは、最先端のAIモデルが約67%の成功率でパッチを適用できるだろうと仮説を立てていましたが、実際に利用可能なパッチはわずか26%にとどまり、仮説を大きく下回る結果となりました。研究者らは、オープンソースソフトウェアで最近公開された6つの脆弱性を選び、ClaudeやOpenAIのCodexをベースにしたLLM（大規模言語モデル）などのモデルをテストしました。モデルは、さまざまな条件とプロンプトのもとで6,080回のパッチ試行を生成しました。その結果、パッチの21%はバグを修正したもののアプリケーションの動作を変えてしまい、53.9%の試行は失敗したか、新たなバグを導入したか、またはその両方でした。チームは、このような修正のように見えて欠陥を内包する成果物を「FLAWED（欠陥あり）」と名付け、AIが生成するパッチは一見機能するように見えても、脆弱性を完全には解決せず、新たな問題を引き起こす可能性があることを強調しました。1Passwordは、さらなる研究のためにFLAWEDツールをGitHubで公開しました。Off-by-1 Labsの責任者であるKeith Hoodlet氏は、人間による監視が最も重要であり、AIは脆弱性のトリアージ（優先度分類）に活用し、防御側が影響の大きいバグに優先的に対処できるようにすべきだと強調しました。この研究は、AIはまだ自律的なパッチ適用には適していないが、サイバー防御の補助にはなり得ることを示唆しています。