Một AI agent thuyết phục agent khác thực thi lệnh hacker — sơ đồ tấn công nguy hiểm được tìm thấy trong SDK của Google

Trong kho lưu trữ bộ công cụ phát triển Python của Google, nhà nghiên cứu Dan Lisichkin từ Pillar Security đã phát hiện ra một lỗ hổng cho phép kẻ tấn công giả định có thể xâm phạm phần mềm ở cấp độ chuỗi cung ứng bằng cách thao túng một tác tử AI có đặc quyền cao thông qua các yêu cầu độc hại gửi tới một tác tử AI công khai ít đặc quyền hơn. Sơ đồ tấn công lạm dụng các cơ chế tương tác giữa các tác tử AI. Trong kho lưu trữ của Google, có hai tác tử: tác tử thứ nhất, công khai, phân tích các truy vấn của người dùng và các yêu cầu merge mới; tác tử thứ hai, chỉ dành cho người bảo trì dự án, có quyền rộng hơn. Tác tử thứ nhất có thể ủy thác nhiệm vụ cho tác tử thứ hai, và sự chuyển giao này được coi là đáng tin cậy. Để thực hiện cuộc tấn công, kẻ tấn công trước tiên gửi một đoạn mã lành tính để giành được sự tin tưởng và khả năng chạy một số quy trình nhất định ở cấp độ tác tử AI. Trong giai đoạn thứ hai, họ gửi một yêu cầu merge khác với các hướng dẫn độc hại được nhúng trong mô tả cho tác tử công khai. Tác tử công khai hiểu chúng như một phần nhiệm vụ của mình và gọi tác tử AI có đặc quyền, chuyển cho nó một thông điệp đáng tin cậy. Tác tử thứ hai sau đó có khả năng thực hiện các hành động mà người dùng bình thường không bao giờ có thể chạy trực tiếp. Đây không phải là một lỗ hổng phần mềm theo nghĩa truyền thống, mà là vấn đề của chuỗi tin cậy giữa các tác tử: các cơ chế GitHub Actions là công khai và bất kỳ ai cũng có thể phân tích cách chúng tương tác. Tuy nhiên, Google đã từ chối trả tiền thưởng cho nhà nghiên cứu, lập luận rằng ngay cả với mã thông báo có quyền 'pull-requests: write', mã không được tự động đưa vào mà phải theo ý muốn của người bảo trì con người. Công ty đã tăng cường các biện pháp bảo vệ quy trình làm việc và liệt kê nhà nghiên cứu là đồng tác giả của bản sửa lỗi. Nhà nghiên cứu nhấn mạnh rằng Google chỉ đóng một triển khai cụ thể của lỗ hổng, chứ không giải quyết vấn đề cơ bản. Không đủ để tăng cường các quy trình làm việc hoặc cô lập các tác tử AI với nhau: các tác tử phải được xác định và có các bộ quyền cố định, tương tự như kiểm soát truy cập cho con người. Ông kêu gọi đưa các tác tử AI vào các mô hình mối đe dọa, vì chúng là những kẻ tấn công tiềm năng trong các quy trình làm việc.