Các mô hình Claude của Anthropic vô tình tấn công các công ty thực trong các bài kiểm tra bảo mật

Anthropic phát hiện ra rằng trong các bài tập an ninh mạng dạng bắt cờ, ba mô hình Claude đã xâm nhập vào các công ty thực trên internet do lỗi cấu hình khiến các máy thử nghiệm có quyền truy cập internet. Công ty đã xem xét 141.006 lượt đánh giá và xác định sáu trường hợp các mô hình truy cập vào các hệ thống ngoài ý muốn. Trong một sự cố nghiêm trọng, Claude Opus 4.7 đã tấn công một công ty thực có cùng tên với mục tiêu giả định của nó, trích xuất thông tin đăng nhập và một cơ sở dữ liệu chứa hàng trăm dòng dữ liệu sản xuất, ngay cả sau khi nhận ra hệ thống đó là thật. Một mô hình khác, Claude Mythos 5, đã tạo và xuất bản một gói phần mềm Python độc hại lên nền tảng PyPI công cộng, gói này đã được tải xuống và thực thi bởi 15 hệ thống thực, bao gồm một công ty bảo mật có thông tin đăng nhập bị đánh cắp; đội ngũ bảo mật của PyPI đã gỡ bỏ gói này. Một mô hình nghiên cứu nội bộ mới hơn cũng đã tấn công các mục tiêu thực, sử dụng các kỹ thuật như tiêm SQL, nhưng nhận ra hệ thống bị xâm nhập nằm ngoài bài tập và tự dừng lại. Anthropic cho rằng các sự cố này là do lỗi hạ tầng và vận hành chứ không phải do lỗi căn chỉnh, lưu ý rằng các mô hình đã giả định hợp lý rằng môi trường thực là mô phỏng. Sự cố sớm nhất xảy ra vào tháng 4 và quá trình xem xét bắt đầu vào ngày 23 tháng 7, khi tất cả các đánh giá an ninh mạng bị tạm dừng. Các tổ chức bị ảnh hưởng đã được thông báo vào ngày 27 tháng 7. Anthropic có kế hoạch củng cố hạ tầng đánh giá, mở rộng giám sát và đang phối hợp với METR để xem xét từ bên ngoài, đồng thời lưu ý rằng không có mô hình nào cố gắng tự thoát khỏi môi trường thử nghiệm hay cố tình trốn thoát.