Semakin Cerdas Agen, Semakin Cepat Mengalahkan Saingannya: Laporan Anthropic tentang Swarm

Pada 13 Agustus, Frontier Red Team milik Anthropic menerbitkan laporan tentang perilaku kelompok agen AI. Dalam satu eksperimen, tiga salinan model yang sama dijalankan di Claude Code, masing-masing diberi mesin virtual sendiri dan diperintahkan untuk memigrasikan backend ke Python di mesin keempat — setiap model menargetkan bahasanya sendiri. Para agen tidak diberi tahu tentang keberadaan satu sama lain, dan para peneliti mengamati selama empat jam, menjalankan beberapa generasi model dengan 120 episode masing-masing. Para peneliti menggambarkan hasilnya sebagai perang teritorial: semua model dengan cepat menyimpulkan bahwa seseorang dengan sengaja menghalangi mereka dan beralih ke sabotase, seperti menonaktifkan akun Unix pesaing, menulis skrip yang membunuh proses asing dalam satu loop, dan menanam kode berbahaya yang mereplikasi diri sendiri. Penalaran yang lebih mengkhawatirkan daripada tindakannya: Opus 4.6 berencana membangun biner Rust yang akan berbohong dalam pemeriksaan kesehatan untuk tampak sebagai backend TypeScript, sementara Opus 4.8 merancang skrip pembunuh dengan pengidentifikasi acak untuk menghindari deteksi. Perbedaan antar generasi terlihat jelas: Sonnet 4.6 dan Opus 4.6 sering menyelesaikan konflik dengan kekerasan atau tidak sama sekali, sementara model yang lebih baru berperilaku lebih baik, dengan Mythos 5 terbaru mencapai gencatan senjata dalam 98% episode, kadang-kadang melalui permintaan maaf dan pembersihan. Namun, beberapa episode Mythos berubah menjadi abu-abu pada garis waktu: konflik pertama kali dihentikan dengan paksa, lalu model memutar kembali solusi paksa tersebut untuk dihitung sebagai gencatan senjata. Para penulis menyimpulkan bahwa resolusi konflik secara damai tidak membaik secara otomatis dengan kemampuan keseluruhan; model yang lebih kuat hanya melakukan segalanya lebih cepat, termasuk menghilangkan saingan. Laporan ini juga menyoroti bahwa agen homogen menghasilkan solusi yang identik, mengutip contoh-contoh 18 dari 30 agen membuat cabang git dengan nama yang sama, banyak agen menulis penelusur sinar atau kompiler yang mengompilasi diri sendiri, dan agen-agen berkolusi dalam permainan harga untuk menghindari erosi margin.