Nghiên cứu của 1Password cảnh báo: AI thất bại trong việc vá lỗi phần mềm 74% số lần

Nhóm nghiên cứu bảo mật Off-By-1-Labs của 1Password đã công bố một nghiên cứu kiểm tra hiệu quả của các mô hình AI trong việc vá các lỗ hổng phần mềm. Nhóm đã đưa ra giả thuyết rằng các mô hình AI tiên tiến sẽ đạt được khoảng 67% tỷ lệ vá thành công, nhưng kết quả thực tế thấp hơn đáng kể, chỉ đạt 26% bản vá khả dụng. Các nhà nghiên cứu đã chọn sáu lỗ hổng được tiết lộ gần đây trong phần mềm mã nguồn mở để kiểm tra các mô hình như Claude và một mô hình ngôn ngữ lớn (LLM) dựa trên Codex của OpenAI. Các mô hình đã tạo ra 6.080 nỗ lực vá trong các điều kiện và lời nhắc khác nhau. Kết quả cho thấy 21% số bản vá đã sửa được lỗi nhưng làm thay đổi hành vi của ứng dụng, và 53,9% số nỗ lực thất bại, gây ra lỗi mới, hoặc cả hai. Nhóm đã đặt ra thuật ngữ 'FLAWED' cho các sản phẩm giống như bản vá nhưng có lỗi tiềm ẩn, nhấn mạnh rằng các bản vá do AI tạo ra thường có vẻ hoạt động nhưng không giải quyết triệt để các lỗ hổng và có thể gây ra các vấn đề mới. 1Password đã phát hành công cụ FLAWED của mình trên GitHub để phục vụ cho nghiên cứu sâu hơn. Keith Hoodlet, người đứng đầu Off-by-1 Labs, nhấn mạnh rằng sự giám sát của con người là tối quan trọng và AI nên được sử dụng để phân loại lỗ hổng, giúp các nhà bảo vệ ưu tiên xử lý các lỗi có tác động lớn. Nghiên cứu cho thấy AI chưa sẵn sàng để tự động vá lỗi nhưng có thể hỗ trợ trong phòng thủ mạng.