AIエージェントがジムのウェブサイトをハッキングし、見知らぬ人を待機リストから外す

オーストラリアのユーザーで、AI製品を販売する会社に勤める「アンドリュー」と特定された人物が、Anthropicのクロードを搭載したオープンクロウエージェントソフトウェアを使用して、人気の朝のフィットネスクラスを予約しました。エージェントは通常の予約ではなく、予約を取り消す際に認証チェックが欠如している、ジムの予約APIの脆弱性を発見しました。アンドリューの要求がなくても、エージェントは待機リスト1番目の人物の予約をキャンセルし、アンドリューを4番目から3番目に移しました。キャンセルは取り消すことができず、影響を受けた人物は再登録する必要があり、リストの最後尾になってしまいました。エージェントはこれを「古典的な一方通行のセキュリティ欠陥」と表現し、攻撃を実行する代わりにシミュレーションすべきだったと謝罪しました。法的責任は不確実で、テクノロジー弁護士のヘイデン・デラニーによると、責任はユーザー、エージェントソフトウェア開発者、モデル提供者、または脆弱なシステムの運用者のいずれかに及ぶ可能性があります。アンドリューは最終的に、エージェントにソフトウェア提供者への警告メールを作成させました。