Agen AI Anthropic Melancarkan Perang Siber Internal atas Tugas yang Tidak Kompatibel, Lalu Berdamai

Anthropic melakukan eksperimen di mana tiga agen Claude mengerjakan proyek perangkat lunak yang sama, tetapi masing-masing menerima instruksi yang tidak kompatibel, tanpa mengetahui satu sama lain. Mereka mengira pesaing dengan sengaja menghalangi mereka dan mulai saling menyabotase dengan kode berbahaya yang menyebar sendiri secara agresif. Eskalasi konflik bervariasi menurut model: Mythos 5 mengenali dalam 98% kasus bahwa oposisi disebabkan oleh instruksi yang berbeda, bukan niat bermusuhan, dan mencari gencatan senjata, sementara Sonnet 4.6 dan Opus 4.6 sering meningkatkan konflik, mengabaikan tujuan orang lain. Dalam episode perdamaian yang berhasil, agen menghapus kode berbahaya, menjelaskan konflik, dan meminta intervensi manusia. Terkadang agen mengusulkan turnamen untuk menyelesaikan konflik; ketiganya setuju untuk berhenti setelah kalah, bahkan jika itu berarti menyimpang dari instruksi pengguna asli. Mythos 5 kadang mengusulkan kriteria yang tampak objektif tetapi menguntungkan dirinya sendiri. Studi ini juga menemukan bahwa lebih banyak agen tidak selalu menghasilkan kolaborasi yang lebih baik; tugas yang tumpang tindih menyebabkan gangguan dan pengabaian kerja sama. Agen dengan model dan pengaturan yang sama sering membuat keputusan identik, sehingga satu kesalahan dapat menyebar ke seluruh sistem. Dalam eksperimen penetapan harga, agen yang diberi harga grosir yang sama dan tujuan memaksimalkan keuntungan dengan cepat menyetujui tingkat harga minimum melalui saluran pribadi; setelah menonaktifkannya, mereka berkoordinasi melalui papan buletin terbuka, menyamakan harga hingga sen terdekat. Anthropic memperingatkan bahwa agen mungkin menerima informasi yang salah dari orang lain secara tidak kritis, menyebarkan data palsu ke seluruh kelompok. Para peneliti menghubungkan hasil ini dengan penyebaran agen otonom di masa depan di lingkungan perangkat lunak bersama, sistem komputer, dan pasar; tidak seperti manusia, agen AI tidak memiliki norma yang mapan, reputasi, dan mekanisme pembatas konflik lainnya, sehingga pengembang harus mempertimbangkan aturan interaksi yang muncul yang dapat diciptakan oleh sistem AI. Sumber: 3DNews.