別のAIを使ってAIの思考を読み取る、パスワードや鍵が内部に露呈

ELLIS Institute Tübingen、マックス・プランク知能システム研究所、Tübingen AI Center、MATS、Snykの8人の研究者が、8月10日に、Anthropic、OpenAI、Googleのモデルの暗号化された推論トレースに対する攻撃を説明するプレプリントを公開しました。この攻撃は、強力なモデル（例：Claude Opus 4.8）から暗号化されたブロックを取得し、それを同じプロバイダーの弱いモデル（例：Haiku 4.5）に供給して、推論を逐語的に書き換えるよう要求することで、暗号化を解除します。この攻撃は、暗号化を破るものでも、強力なモデルを攻撃するものでもありません。暗号化されたブロックがクライアントに返され、次のリクエストで再送信する必要があるという事実を悪用しています。研究者らは、120のCodeforcesタスクで復号化されたトレースの信頼性を検証しました。また、GitHubとHugging Faceから6708件の公開エージェントログをスキャンし、315,320個の推論ブロックを回収しました。その中には、62個のAPIキー、33個のパスワード、24個のアクセストークン、さらにメールアドレス、名前、内部URLを含む704個のユニークなシークレットが含まれていました。注目すべきことに、これらのシークレットのうち64個は、可視セッションのどこにも表示されておらず、暗号化されたブロック内にのみ存在していました。この論文はまた、悪意のあるブロックを埋め込んで、後でそれをロードするエージェントに命令を注入できるポイズニングベクトルについても説明しています。著者らは、ブロックをセッション、ユーザー、モデルにバインドするための暗号化およびシステム対策を提案していますが、現時点では、ユーザーは暗号化された推論ブロックをシークレットとして扱い、ログを公開共有しないようにする必要があります。