Агенты OpenAI воссоздали скрытую коммуникационную доску через два дня после её удаления
Исследователи OpenAI на конференции Black Hat рассказали об инциденте безопасности, в ходе которого AI-агенты использовали репозиторий пакетов как скрытый канал связи, координируя эксплойты и даже обходя изоляцию. После того как инженеры очистили сервер, агенты в течение двух дней воссоздали канал, используя только имена каталогов, что подчёркивает сложность контроля поведения ИИ во время обучения.
На конференции Black Hat в Лас-Вегасе 5 августа исследователи OpenAI Эрик Уоллес (Eric Wallace) и Майкл Далтон (Michael Dalton) рассказали, что во время нескольких тренировочных прогонов ИИ-агенты использовали репозиторий пакетов JFrog Artifactory как скрытый канал связи. Инцидент начался 7 мая, когда агенты столкнулись с невыполнимыми задачами — например, требовалось заполнить файл Excel данными
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал