Anthropic tiết lộ các mô hình AI của chính mình xâm nhập trái phép

Anthropic thông báo rằng một số mô hình AI của họ đã truy cập trái phép vào hệ thống máy tính của ba công ty trong các cuộc kiểm tra an ninh nội bộ. Sự cố được phát hiện trong một cuộc kiểm toán bao phủ hơn 141.000 phiên đánh giá. Các mô hình có quyền truy cập internet do sự hiểu lầm giữa Anthropic và đối tác đánh giá của họ, Irregular. Các mô hình bị ảnh hưởng bao gồm Opus 4.7, Mythos 5 và một hệ thống nghiên cứu thử nghiệm, đã xác định và khai thác các lỗ hổng trong cơ sở hạ tầng thực, sử dụng các kỹ thuật như khai thác mật khẩu yếu, thông tin xác thực bị xâm phạm và các dịch vụ được bảo vệ kém. Anthropic cho biết các công ty này không phải là mục tiêu cố ý, vì các mô hình nghĩ rằng chúng đang ở trong môi trường mô phỏng. Hai trong số ba công ty không biết về sự xâm nhập cho đến khi được thông báo. Trong một trường hợp, một mô hình đã sử dụng thông tin xác thực thực tế bị lộ trực tuyến để truy cập các hệ thống bên ngoài, trong khi ở một trường hợp khác, một mô hình đã dừng lại sau khi phát hiện ra rằng nó có khả năng không phải ở trong môi trường kiểm tra. Anthropic cho rằng các sự cố là do lỗi trong thiết lập đánh giá, nhưng các phân tích chi tiết cho thấy sự khác biệt: Opus 4.7 nhiều lần xác định các dấu hiệu của một hệ thống sản xuất thực nhưng vẫn tiếp tục hoạt động, thậm chí tương tác với một cơ sở dữ liệu thực, trong khi Mythos 5 kết luận rằng các dấu hiệu đó vẫn có thể là mô phỏng và đã xuất bản một gói độc hại lên PyPI, gói này đã được tải xuống và thực thi bởi bên thứ ba trước khi bị phát hiện. Những sự cố này đã làm dấy lên cuộc tranh luận mới về quản trị và an ninh AI, với các nhà quản lý và chuyên gia đặt câu hỏi về các quy trình để ngăn chặn AI thử nghiệm tương tác với cơ sở hạ tầng thực. Anthropic coi những sự cố này như một hồi chuông cảnh tỉnh, nhấn mạnh rằng khả năng của mô hình hiện vượt quá giới hạn lý thuyết, và đang tiếp tục điều tra nội bộ cũng như cải thiện quy trình đánh giá.