Модели ИИ склонны к «переутомлению», что создает уязвимость безопасности
DeepSeek
Alibaba/Qwen
OpenAI
Google/DeepMind
Исследователи из Чжэцзянского университета и Alibaba продемонстрировали метод намеренного вызывания «переутомления» у моделей ИИ с рассуждением, подвергая их логически противоречивым подсказкам. Эта эволюционная атака с помощью подсказок может приводить к выводам, длина которых в 26 раз превышает нормальную, фактически действуя как атака типа «отказ в обслуживании» на коммерческие сервисы ИИ.
Крупные языковые модели (LLM, Large Language Models), использующие пошаговые рассуждения, уязвимы для явления, называемого «переусложнением» (overthinking), при котором они генерируют чрезмерно длинные цепочки рассуждений. Исследователи из Чжэцзянского университета и компании Alibaba разработали эволюционный алгоритм, который искажает логическую структуру подсказок, заставляя модели уходить в
Показать ещё ↓
Источник: IEEE Spectrum AI —
оригинал