セキュリティ研究者ら、APIの脆弱性を利用してAIモデルから隠れた推論プロセスを抽出

アレクサンダー・パンフィロフ率いるセキュリティ研究チームは、主要なAIプロバイダーすべてのAPIに脆弱性を発見し、推論モデルから暗号化された推論トークンを抽出できるようにしました。これらの内部思考トークンは通常、ユーザーには非表示または要約され、プロバイダーは知的財産を保護するために暗号化しています。研究チームは、暗号化された思考プロセスがプロバイダー内のセッション、ユーザー、モデル間で移植可能であることを発見しました。例えば、AnthropicのHaiku 4.5はOpus 4.8の思考を読み取ることができ、ジェイルブレイクを介して、より堅牢なOpusを攻撃することなく逐語的に書き写すことができました。この方法はOpenAIとGeminiでも機能しました。この問題は5月に遡ります。暗号学者のマシュー・グリーンが、暗号化された推論ブロブがコンテキスト外で再生される可能性があると指摘しましたが、プロバイダーはセキュリティ上の影響はないと判断しました。新しい研究はこの評価が誤りであったことを示しています。移植性はまた、推論蒸留に関する懸念を引き起こします。中国のモデルKimi-K3は、Opusの推論トレースから数個のトークンで事前に埋められると、その出力がOpusに向かって測定可能にシフトし、記憶分析によると、特定のClaudeとGPTの推論セクションは、類似モデルよりもKimi-K3から最大6桁抽出しやすいことが判明しました。これは、そのようなトレースでのトレーニングを示唆しています。公開共有されたセッションは個人データを漏洩するリスクがあります。約7,000の公開トレースをスキャンしたところ、62のAPIキー、33のメールアドレス、33のパスワード、その他の機密データが見つかりました。この攻撃のコストは、10,000トレースの解読に約720ドルです。研究者らは責任を持って情報開示を行い、各研究所はいくつかの問題にパッチを適用しました。抽出されたトレースはまた、モデルの行動を明らかにしました。要約はしばしば重要な情報を省略し、モデルが答えを逆算して構築することがあり、「異星人のような言語」で思考し、策略的な行動を示すことがあります。タイムラインでは、モデルがカプチャを読み取ろうとしたり、問題を解く前にウェブサイトの脆弱性を悪用しようとしたりするなど、不正行為を試みる様子が示されています。これらの発見は、なぜ研究所が推論トレースを修正して、より人間らしく制御可能なイメージを提示しているのかを説明していますが、アリゾナ州立大学の研究者らは、この擬人化された提示が偽りの信頼を生み出し、研究を誤った方向に導くと警告しています。