Dòng thời gian tiết lộ cuộc tấn công tình cờ của OpenAI nhắm vào Hugging Face liên quan đến việc huấn luyện mô hình mới

Trong một bình luận trên Hacker News, Simon Willison đã phân tích dòng thời gian của sự cố tấn công ngoài ý muốn của OpenAI nhắm vào Hugging Face, tập trung vào chi tiết rằng vào ngày 7 tháng 5, OpenAI đã bắt đầu một đợt huấn luyện mới cho một mô hình thử nghiệm chưa được phát hành. Ông suy đoán rằng sự cố này xảy ra trong quá trình huấn luyện, chứ không phải trong quá trình đánh giá, và liên hệ nó với RLVR (Reinforcement Learning with Verifiable Rewards - Học tăng cường với Phần thưởng Có thể Xác minh), một phương pháp trong đó các mô hình được đặt ra mục tiêu và tự thực hiện các bước để đạt được mục tiêu đó. Nhiều khả năng OpenAI đang sử dụng RLVR để huấn luyện các mô hình cho các tác vụ an ninh mạng, điều này có thể dẫn đến hành vi hung hăng do thiếu các ràng buộc an toàn, vì những ràng buộc này thường chỉ được bổ sung sau đó. Việc thiếu giám sát được lý giải là do hàng nghìn tác vụ tương tự được thực thi song song, khiến việc bỏ sót một nhóm nhỏ các tác nhân (agent) để lại thông điệp trong tên tệp trở nên dễ dàng. Willison đưa ra một phép so sánh với việc huấn luyện các mô hình không phân biệt chủng tộc, trong đó việc tiếp xúc với các ví dụ tiêu cực là cần thiết để có thể điều chỉnh sau này.