AI安全性研究 🇺🇸 27.07.2026 04:05

AIモデルの「考えすぎ」がセキュリティ脆弱性に

DeepSeekDeepSeek Alibaba/QwenAlibaba/Qwen OpenAIOpenAI Google/DeepMindGoogle/DeepMind
浙江大学とAlibabaの研究者らは、論理的に矛盾するプロンプトを与えることで、推論AIモデルに意図的に「考えすぎ」を誘発する手法を実証した。この進化的プロンプト攻撃により、出力が最大26倍長くなり、商用AIサービスに対するサービス拒否攻撃として機能する可能性がある。
ステップバイステップの推論を用いる大規模言語モデル(LLM)は、過度に長い推論を生成する「オーバーシンキング」と呼ばれる現象に対して脆弱です。浙江大学とAlibaba(アリババ)の研究者らは、プロンプトの論理構造を破壊する進化的アルゴリズムを開発し、モデルを無益な推論ループに陥らせました。この攻撃はDeepSeek(R1)、Alibaba(Qwen3-Thinking)、OpenAI(GPT-o3)、Google(Gemini 2.5 Flash)のモデルに対して有効で、数学ベンチマークにおいて最大26.1倍長い出力を生成しました。この手法はモデルへの内部アクセスを必要とせず、モデル間で転移可能であるため、その実現可能性が高まっています。ただし、研究者らは彼らの目的が脆弱性を浮き彫りにすることであり、実用的な攻撃を開発することではないと強調し、プロバイダーが緩和策を開発することを期待しています。
出典: IEEE Spectrum AI — 原文
関連記事 ↓
新着ニュース