GPT-Red: Hệ thống Red Teaming Tự động của OpenAI nhằm Cải thiện An toàn AI

OpenAI đã công bố GPT-Red, một hệ thống kiểm tra đỏ tự động được thiết kế để tăng cường an toàn, sự phù hợp và độ mạnh mẽ của trí tuệ nhân tạo. Hệ thống này sử dụng phương pháp học tự đối kháng, trong đó mô hình tự động tạo ra các cuộc tấn công và kịch bản độc hại, sau đó tự tinh chỉnh trên chúng để cải thiện khả năng phòng thủ. Cách tiếp cận này cho phép liên tục nâng cao độ mạnh mẽ của mô hình mà không cần thường xuyên có người kiểm tra. GPT-Red đặc biệt hiệu quả trong việc phát hiện và giảm thiểu các lỗ hổng do tiêm nhiễm lời nhắc, nơi kẻ tấn công cố gắng vượt qua các hạn chế của mô hình bằng các truy vấn được tạo ra một cách tinh vi. Hệ thống tự động đánh giá kết quả của các cuộc tấn công và sử dụng chúng để điều chỉnh hành vi của mô hình, giúp quá trình cải thiện bảo mật trở nên có khả năng mở rộng và hiệu quả hơn.