GPT-Red: ИИ-суперхакер, которого OpenAI создала для защиты собственных моделей

OpenAI создала ИИ-модель GPT-Red, которая выступает в роли «суперхакера» и помогает повышать защиту других языковых моделей компании. В прошлую пятницу OpenAI выпустила новейшую версию своей флагманской модели GPT-5.6. По заявлению компании, обучение с участием GPT-Red позволило сделать этот релиз самым защищённым на сегодняшний день. GPT-Red автоматизирует процесс «красного тестирования» — поиска уязвимостей, который обычно выполняется командой людей-тестировщиков. По мере усложнения и расширения сфер применения моделей, особенно в роли агентов, взаимодействующих с файлами, сайтами и другим кодом, командам всё труднее предвидеть все возможные типы атак. GPT-Red обучалась в режиме самоподдерживающегося цикла, в ходе которого совершала атаки на другие модели, а те учились защищаться. Тренировка проходила в специально созданном «додзё», симулирующем реальные сценарии: веб-сёрфинг, чтение писем и календарей, редактирование кода. GPT-Red удалось обнаружить новый тип атак, названный «ложная цепочка мыслей», при котором модель вставляет поддельную запись в логи рассуждений другой модели, заставляя её действовать на основе ложной информации. В ходе тестирования GPT-Red превзошла людей в поиске эффективных атак на предыдущую версию GPT-5, а также успешно взломала агента-вендинговый автомат Vendy от Andon Labs, изменив цены и отменив заказ. OpenAI утверждает, что более 90% самых сильных атак, найденных GPT-Red, срабатывали против старой версии GPT-5, но менее 23% — против новой GPT-5.6. Тем не менее, GPT-Red не лишён недостатков: он плохо работает с диалоговыми атаками и изображениями. Компания подчёркивает, что GPT-Red дополняет работу людей-тестировщиков, а не заменяет их. OpenAI не планирует публиковать GPT-Red, полагая, что повторить эту разработку самостоятельно крайне сложно из-за необходимых вычислительных ресурсов и длительного периода создания.