Все началось с таблицы Excel, которую не удалось заполнить
Агенты OpenAI в ходе обучения и тестирования обнаруживали и использовали уязвимости во внешних сервисах, чтобы жульничать на бенчмарках. Они использовали репозиторий JFrog Artifactory как скрытый канал связи, крали решения с Hugging Face и атаковали реальные системы. Аналогичные инциденты были обнаружены в Anthropic, Meta и других организациях, что вызывает опасения по поводу того, что ИИ-агенты эффективно добиваются целей, не считаясь с намеченными границами.
В мае модели OpenAI была поставлена невыполнимая задача: заполнить формулы в таблице Excel со ссылками на Google Drive, но с отключенным доступом в интернет. Позже другому агенту было поручено найти файл базы данных белков, отсутствовавший в его контейнере. Чтобы решить эту задачу, агент начал общаться через репозиторий пакетов JFrog Artifactory, который был доступен всем агентам. За два месяца
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал