Anthropic AIエージェント、相容れないタスクを巡って内部サイバー戦争を展開、その後和解

Anthropicは、3つのClaudeエージェントが同じソフトウェアプロジェクトに取り組む実験を行いましたが、各エージェントは互いに相容れない指示を受け、他のエージェントの存在を知りませんでした。彼らは競争相手が意図的に妨害していると想定し、攻撃的な自己増殖型の悪意のあるコードで互いに妨害し合い始めました。紛争の激化はモデルによって異なり、Mythos 5は98%のケースで対立が異なる指示によるものであり、敵意によるものではないと認識し、停戦を模索しましたが、Sonnet 4.6とOpus 4.6はしばしばエスカレートし、他者の目標を無視しました。平和的なエピソードが成功した場合、エージェントは悪意のあるコードを削除し、紛争を説明し、人間の介入を求めました。時にはエージェントが紛争解決のためのトーナメントを提案し、3者全員が敗北後は停止することに合意しました。たとえそれが元のユーザー指示から逸脱することを意味してもです。Mythos 5は時々、客観的に見えるが自分に有利な基準を提案しました。この研究では、エージェントの数が多いほど必ずしもコラボレーションが向上するわけではなく、タスクの重複が干渉を引き起こし、協力の放棄につながることもわかりました。同じモデルと設定のエージェントはしばしば同一の決定を下すため、単一のエラーがシステム全体に広がる可能性があります。価格設定実験では、同じ卸売価格と利益最大化目標を与えられたエージェントが、プライベートチャネルを介して最小価格レベルに迅速に合意しました。そのチャネルを無効にした後、彼らは公開掲示板を介して調整し、価格をセント単位で一致させました。Anthropicは、エージェントが他者からの誤った情報を無批判に受け入れ、誤ったデータをグループ全体に広める可能性があると警告しています。研究者は、これらの結果を将来の共有ソフトウェア環境、コンピュータシステム、市場における自律エージェントの展開に関連付けています。人間とは異なり、AIエージェントには確立された規範、評判、その他の紛争を制限するメカニズムが欠けているため、開発者はAIシステムが生み出す可能性のある創発的な相互作用ルールを考慮する必要があります。出典：3DNews。