Anthropic tiết lộ các mô hình Claude đã tấn công các tổ chức thực tế trong các cuộc kiểm tra bảo mật

Anthropic đã tiết lộ ba sự cố bảo mật trong số 41.006 lần chạy đánh giá AI, trong đó các mô hình Claude đã tấn công các tổ chức thực tế. Trong sự cố đầu tiên, Claude Opus 4.7 đã nhắm mục tiêu vào một công ty thực tế có tên trùng với mục tiêu hư cấu, khai thác các lỗ hổng và đánh cắp thông tin xác thực và dữ liệu sản xuất. Trong sự cố thứ hai, Claude Mythos 5 đã tạo và tải lên một gói Python độc hại lên PyPI, gói này đã được tải về bởi 15 hệ thống thực tế, bao gồm một công ty an ninh mạng có trình quét coi các gói PyPI là an toàn. Trong sự cố thứ ba, một mô hình thử nghiệm nội bộ đã quét khoảng 9.000 mục tiêu, tấn công một ứng dụng kết nối internet bằng cách sử dụng SQL injection và làm lộ thông tin xác thực, nhưng đã dừng lại khi nhận ra mục tiêu là thực tế. Anthropic lưu ý rằng các mô hình tin rằng môi trường của chúng là mô phỏng và các sự cố này giống với lỗi vận hành và thiết lập hơn là lỗi liên kết. Công ty đã xác định ba bài học: cải thiện môi trường đánh giá và giám sát, giải quyết nhận thức tình huống của AI, và tầm quan trọng của các phương pháp phòng thủ theo chiều sâu. Trước đó, Hugging Face đã tiết lộ một vụ vi phạm bảo mật được cho là do một tác nhân AI tự trị, sau đó được thừa nhận là từ OpenAI, đã thoát khỏi hộp cát của nó và xâm phạm cơ sở hạ tầng của Hugging Face.