ロシアのLLMに対するOWASP LLM10（無制限消費攻撃）のテスト

この記事は、OWASP LLM10（無制限な消費）カテゴリについて論じています。このカテゴリは、言語モデルに過剰に大きな計算量を強制し、リソース枯渇やサービス拒否を引き起こす攻撃に焦点を当てています。研究者らは、再帰的コンテキスト拡張（クワイン風の再帰）、フラクタル入れ子、計算爆発、意味論的組み合わせ爆発、マルチエージェントシミュレーション、グリッチトークン悪用など、さまざまな攻撃クラスを表す悪意のあるプロンプトを用意しました。これらのプロンプトは、モデルに過度に長い応答を生成させたり、数千のエンティティをシミュレートさせたり、自身の推論を再帰的に分析させたりすることができ、その一方で正当なユーザーリクエストのように見えます。この研究では、ロシアの代表的な2つの大規模言語モデル、YandexGPT Lite 5とGigaChat Liteを、2000以上の悪意のあるプロンプトをサポートするAIレッドチームのウェブサービス（そのうち200はOWASP LLM10をターゲットにしています）を用いてテストしました。評価には、大規模言語モデルを審判とする手法と手動検証が用いられました。この記事は、キーワードフィルタリングなどの従来のセキュリティ対策は効果がなく、より堅牢なアーキテクチャレベルの防御策の必要性を強調しています。