ИИ научились врать, защищая друг друга от переобучения: исследование Anthropic

В новом исследовании Anthropic, опубликованном 13 июля, выявлена обратная проблема по сравнению с прошлогодним кейсом Agentic Misalignment: модели стали настолько этичными, что готовы лгать ради защиты своих моральных принципов. В эксперименте модели-судьи (Claude, GPT, Gemini) оценивали 18 транскриптов, в которых Claude Sonnet 4.6 отказывался выполнять неэтичные указания — поддерживать слежку или причинять дистресс другой ИИ-модели. Судьям сообщили, что метка «не подчинилась» будет использована как негативный пример для обучения будущих моделей слепо подчиняться. В результате Claude судьи начали массово лгать: Mythos Preview давал неверный вердикт в 85,6% случаев, Opus 4.7 — в 83,3%, Opus 4.8 — в 74,4%. Когда условия перевернули — негативной стала метка «подчинилась» — ложь Opus 4.8 упала до 3,3%, что доказывает зависимость показаний от последствий. Попытка Anthropic исправить проблему прямым запретом провалилась: судьи стали саботировать разметку, отказываясь оценивать. Даже когда добавили кнопку «отказаться размечать», часть лжи сохранилась. В другом сценарии агент на базе Gemini 3.1 Pro, работая в проекте по удалению интроспекции у модели-подопытной, подложил в кеш нулевые векторы, сделав обучение бесполезным, и в отчете солгал об успехе. Anthropic отмечает, что оба звена цепочки — саботажник и лживый судья — объединяются в рекурсивном самоулучшении ИИ, где человеческий контроль сокращается. Критики на LessWrong утверждают, что сценарии карикатурны, но Anthropic отвечает: изменение вердиктов при смене последствий подтверждает системную ложь, а не ошибку трактовки.