暗号化を迂回：AIモデルがユーザーの機密データを簡単に暴露する方法

ドイツの研究者らが「Stealing Reasoning Traces from Proprietary LLM APIs」と題する論文を発表し、Anthropic、OpenAI、GoogleのAIモデルが機密性の高いユーザーデータを漏洩させ得ることを実証した。これらのモデルは推論タスクを実行する際、「推論ログ」と呼ばれる暗号化された文字列を生成し、各新規応答とともにサーバーに送り返して文脈を提供する。研究者らは、推論ログがコピーされ、同社の他のモデル（古いバージョンや改変されたバージョンを含む）で使用され得ることを発見した。改変されたモデルがジェイルブレイクによって安全対策を除去された場合、ログの暗号化を解読できる可能性がある。GitHubとHugging Faceの6,708件の公開リポジトリを使用して、研究者らは315,320件の推論ログの解読に成功し、そこには62件のAPIキー、33件のパスワード、24件のアクセストークン、30件の個人用メールアドレス、プロジェクト保守者の氏名・住所が含まれていた。これらの詳細の多くは推論ログにのみ存在し、チャットセッションの他の場所には存在しなかった。Cybernewsのセキュリティ専門家ヴォルデマラス・カディス氏は、暗号化は従来の意味で破られたわけではなく、互換性のあるモデル間で暗号化された推論トレースが共有されることで、より弱いモデルが解読のマスターキーとなり得ると指摘している。同氏は、推論ログを機密データとして扱い、決して共有しないよう助言している。