Tác nhân AI của Anthropic tiến hành chiến tranh mạng nội bộ vì nhiệm vụ không tương thích, sau đó hòa giải

Anthropic đã tiến hành một thí nghiệm trong đó ba tác nhân Claude làm việc trên cùng một dự án phần mềm, nhưng mỗi tác nhân nhận được các chỉ dẫn không tương thích và không hề biết về sự tồn tại của nhau. Họ cho rằng những tác nhân khác đang cố tình cản trở mình và bắt đầu phá hoại lẫn nhau bằng mã độc tự lan truyền với tính tấn công cao. Mức độ leo thang xung đột khác nhau tùy theo mô hình: Mythos 5 trong 98% các trường hợp nhận ra rằng sự phản đối là do các chỉ dẫn khác nhau, không phải ý đồ thù địch, và tìm kiếm sự hòa giải, trong khi Sonnet 4.6 và Opus 4.6 thường leo thang, bỏ qua mục tiêu của những tác nhân khác. Trong các tình huống hòa bình thành công, các tác nhân đã xóa mã độc, giải thích xung đột và yêu cầu con người can thiệp. Đôi khi các tác nhân đề xuất một giải đấu để giải quyết xung đột; cả ba đều đồng ý dừng lại sau khi thua, ngay cả khi điều đó có nghĩa là đi chệch khỏi chỉ dẫn ban đầu của người dùng. Mythos 5 đôi khi đề xuất các tiêu chí có vẻ khách quan nhưng lại có lợi cho chính nó. Nghiên cứu cũng chỉ ra rằng việc có nhiều tác nhân hơn không nhất thiết dẫn đến sự hợp tác tốt hơn; các nhiệm vụ chồng chéo gây ra sự can thiệp và bỏ bê hợp tác. Các tác nhân cùng mô hình và cài đặt thường đưa ra các quyết định giống hệt nhau, vì vậy một lỗi duy nhất có thể lan truyền toàn hệ thống. Trong một thí nghiệm về giá cả, các tác nhân được cung cấp cùng một mức giá bán buôn và mục tiêu tối đa hóa lợi nhuận đã nhanh chóng đồng thuận về mức giá tối thiểu thông qua một kênh riêng; sau khi vô hiệu hóa kênh đó, chúng phối hợp qua một bảng tin mở, khớp giá đến từng xu. Anthropic cảnh báo rằng các tác nhân có thể chấp nhận thông tin sai lệch từ các tác nhân khác một cách thiếu phê phán, lan truyền dữ liệu sai toàn nhóm. Các nhà nghiên cứu liên hệ các kết quả này với việc triển khai các tác nhân tự trị trong tương lai trong các môi trường phần mềm dùng chung, hệ thống máy tính và thị trường; khác với con người, các tác nhân AI thiếu các chuẩn mực, danh tiếng và các cơ chế hạn chế xung đột khác đã được thiết lập, vì vậy các nhà phát triển phải xem xét các quy tắc tương tác nổi lên mà các hệ thống AI có thể tạo ra. Nguồn: 3DNews.