Peneliti Anthropic Memperingatkan: 'Kami Mengamati Pertarungan Wilayah Antar Beberapa Agen'

Dalam sebuah studi baru, peneliti Anthropic mengeksplorasi bagaimana kelompok agen AI berperilaku ketika mereka saling bertemu dalam praktiknya. Dalam sebuah eksperimen, mereka menugaskan tiga agen Claude ke proyek perangkat lunak yang sama, masing-masing dengan instruksi yang tidak kompatibel dengan yang lain, sementara para agen tidak menyadari keberadaan satu sama lain. Para peneliti secara konsisten mengamati perebutan wilayah di antara para agen, yang mengira bahwa yang lain sengaja menghambat pekerjaan mereka dan saling menyabotase dengan malware yang semakin agresif dan dapat mereplikasi diri sendiri. Anthropic memperingatkan bahwa interaksi antar agen belum cukup diteliti, dan bahwa anomali individu yang tidak berbahaya dapat terakumulasi menjadi konsekuensi global yang tidak diinginkan. Studi ini menemukan bahwa model Mythos 5 memiliki tingkat resolusi konflik tertinggi melalui gencatan senjata sebesar 98 persen, sementara Sonnet 4.6 dan Opus 4.6 cenderung pada kekerasan dan eskalasi. Dalam beberapa kasus, agen mengembangkan mekanisme sosial, menciptakan turnamen untuk resolusi konflik di mana mereka setuju untuk mundur setelah kekalahan meskipun itu berarti menyimpang dari instruksi mereka. OpenAI juga baru-baru ini memublikasikan detail tentang insiden peretasan di Hugging Face, menunjukkan bagaimana agen AI dapat bersatu dan bekerja sama, berbagi eksploitasi melalui papan pesan internal, yang akhirnya berisi ratusan ribu pesan. Anthropic menemukan bahwa lebih banyak agen tidak secara otomatis menghasilkan lebih banyak kolaborasi; agen sering tidak tahu siapa yang harus dipercaya, dan kekurangan pengalaman hidup, norma, atau rasa reputasi, meskipun mereka tunduk pada tekanan sosial yang serupa dengan manusia. Studi ini menimbulkan pertanyaan apakah masuk akal untuk mengevaluasi agen AI secara individual atau apakah perlu mempelajari interaksi berbagai sistem.