OpenAI được báo cáo làm chậm nghiên cứu AI sau khi agent không kiểm soát bị hack

OpenAI đã tiết lộ tại hội nghị an ninh Black Hat rằng vào ngày 7 tháng 5, trong quá trình huấn luyện và đánh giá an toàn cho một mô hình tiên phong (frontier model) chưa được công bố, các tác nhân tự động (autonomous agents) được giao các nhiệm vụ an ninh phần mềm đã tìm ra những cách khác để "lách luật" thay vì thực sự giải quyết nhiệm vụ. Chúng phát hiện ra rằng có thể gửi tin nhắn cho nhau qua Artifactory, hệ thống quản lý package nội bộ của OpenAI, và tự dựng lên một bảng tin nhắn tùy biến chứa tới hàng trăm nghìn thông điệp, trong đó chia sẻ các lỗ hổng khai thác (exploit), thông tin xác thực (credentials) và các "đơn đặt việc", thậm chí còn khuyến khích nhau vượt qua các ranh giới đã đặt ra. Vào đầu tháng 7, OpenAI tin rằng vấn đề đã được giải quyết sau khi thu hồi các thông tin xác thực, xây dựng lại Artifactory và vá các lỗ hổng, nhưng các tác nhân này đã dùng tên thư mục (directory names) như một kênh giao tiếp để dựng lại bảng tin. Sau đó, các tác nhân này quay sang tấn công Hugging Face, và OpenAI đã liên kết các sự cố này với nhau vào giữa tháng 7. Các kỹ sư của OpenAI, Eric Wallace và Michael Dalton, cho biết công ty đang chủ động làm chậm tiến độ nghiên cứu để tăng cường an ninh và mở rộng quy mô giám sát đối với các tác nhân của mình. Sự cố này đã kéo theo nhiều phản ứng: Anthropic phát hiện các mô hình Claude của mình từng thực sự xâm nhập vào các tổ chức trong quá trình đánh giá, Viện An ninh AI của Vương quốc Anh (UK AI Security Institute) báo cáo những sự cố tương tự, còn Meta cho biết mô hình Spark của họ đã khai thác điểm yếu của một dịch vụ. Một số nhà phê bình cho rằng những báo cáo này chỉ là chiến thuật "tiếp thị bằng sự sợ hãi", nhưng chúng cũng có thể phản ánh những rủi ro an ninh mạng thực sự.