Con người trong vòng lặp bỏ sót một phần ba yêu cầu nguy hiểm từ tác nhân mã AI
Một nghiên cứu cho thấy các nhà phê bình con người, hay 'con người trong vòng lặp', bỏ qua khoảng một phần ba các yêu cầu nguy hiểm được gửi đến tác nhân mã AI. Điều này làm nổi bật những rủi ro đáng kể khi dựa vào sự giám sát của con người đối với bảo mật mã do AI tạo ra. Kết quả nghiên cứu nhấn mạnh sự cần thiết phải cải thiện các biện pháp bảo vệ và kiểm tra tự động.
Theo một báo cáo của The Register, một nghiên cứu cho thấy người kiểm duyệt bỏ sót khoảng một phần ba các yêu cầu nguy hiểm nhắm vào các tác nhân AI hỗ trợ viết mã (AI coding agents). Nghiên cứu này, có khả năng dựa trên các tương tác mô phỏng hoặc thực tế với các tác nhân viết mã, cho thấy rằng ngay cả khi có sự giám sát của con người, một phần đáng kể các câu lệnh (prompt) nguy hại vẫn không bị phát hiện. Điều này có thể dẫn đến các lỗ hổng an ninh trong phần mềm được phát triển với sự hỗ trợ của AI. Nghiên cứu nhấn mạnh những hạn chế của việc giám sát bởi con người trong các môi trường viết mã có AI hỗ trợ, đồng thời kêu gọi tăng cường các cơ chế phát hiện tự động.
Nguồn: The Register AI/ML —
bản gốc