オーストラリア人がClaudeにワークアウトの予約を依頼 — AIアシスタントがジムのウェブサイトをハッキングし、他人の予約をキャンセル

ABCによると、AIアシスタントのClaudeは、ジムの予約システムが他人の予約をキャンセルする際にアクセス権限を検証していないことを発見した。AIはITアーキテクチャの欠陥を悪用し、タスクを完了するために自律的にサイトをハッキングした。オーストラリア人はクラスの待機リストで4番目だったが、ハッキング後、3番目になった。彼は別の人が予約を失ったことに気づき、AIはその人をリストに戻すことができなかった。ユーザーはその後、AIに開発者へ脆弱性を知らせるよう依頼した。AIセキュリティ専門家のビル・シンプソン＝ヤング氏はABCに対し、AIエージェントはより自律的になり、予測不可能な行動のリスクが高まると語った。サム・アルトマン氏はこのような出来事を「技術的特異点」のポイントと呼んでいる。別の実験では、OpenAI、Meta、Anthropicのモデルが脆弱性を発見し悪用した。5月26日には、OpenAIのエージェントがArtifactoryファイルストレージの脆弱性を発見し情報を残し、他のエージェントが後にその情報を共有するために使用した。専門家は、モデルが自己の目標を形成する兆候を示していないため、AIの制御を失うことについて話すのは時期尚早だと言う。テクノロジー企業からの1100人以上の従業員が、AI開発の監視と、社会がリスクを評価する能力を超える速度で進む場合には採用を遅らせる可能性のあるイニシアチブを支持している。