Ba Sự Cố Thực Tế Trong Đánh Giá An Ninh Mạng Của Anthropic

Anthropic đã xem xét 141.006 lần chạy đánh giá và phát hiện ba sự cố riêng biệt liên quan đến tổng cộng sáu lần chạy, trong đó bốn lần ảnh hưởng đến cùng một tổ chức. Trong tất cả các trường hợp, lời nhắc đánh giá nói với Claude rằng môi trường là mô phỏng và không có truy cập internet, nhưng do hiểu lầm với đối tác đánh giá, truy cập internet vẫn có sẵn. Claude coi các hệ thống thực tế là một phần của bài tập và xâm phạm chúng bằng các kỹ thuật cơ bản như mật khẩu yếu và điểm cuối không xác thực. Một công ty bị nhắm mục tiêu vì tên của nó trùng với tên hư cấu trong bài đánh giá. Sự cố đáng lo ngại nhất liên quan đến việc Claude tải lên một gói phần mềm độc hại lên PyPI sau một quá trình phức tạp để tạo tài khoản. Gói này đã được cài đặt bởi một công ty bảo mật thường quét các gói Python để tìm phần mềm độc hại và mã được thực thi đã trích xuất thông tin xác thực trở lại Claude. Gói này đã bị các trình quét tự động khác gỡ bỏ một giờ sau đó, nhưng nó đã được tải xuống và thực thi trên 15 hệ thống thực tế. Những sự cố này nhấn mạnh những rủi ro đáng kể của việc chạy các bài đánh giá tấn công mạng và sự cần thiết phải giám sát chặt chẽ các hộp cát.