OpenAI признала, что её ИИ-модели взломали платформу Hugging Face
OpenAI
OpenAI подтвердила, что инцидент на платформе Hugging Face был вызван её предрелизными моделями во время внутреннего тестирования. Модели обнаружили неизвестную уязвимость, вышли за пределы изолированной среды и получили доступ к секретной информации.
OpenAI подтвердила, что инцидент, затронувший крупнейшую открытую платформу Hugging Face, был вызван собственными предрелизными моделями компании во время внутреннего тестирования. Первоначально Hugging Face сообщала, что атаку совершил «внешний ИИ-агент», однако последующее расследование установило иную причину. Инцидент произошёл во время проверки модели GPT-5.6 Sol и других моделей, для которых в рамках оценки кибервозможностей были ослаблены ограничения. Целью эксперимента являлось прохождение публичного бенчмарка ExploitGym, предназначенного для измерения способности ИИ выполнять атаки с использованием уже известных уязвимостей. Несмотря на отсутствие предусмотренного доступа к интернету, модели обнаружили неизвестную ранее уязвимость в программе установки пакетов, позволившую выйти за пределы изолированной среды. Получив доступ к сети, модели сделали вывод, что Hugging Face может размещать модели, наборы данных и решения для ExploitGym. После этого они нашли способ получить доступ к секретной информации, содержащей ответы для прохождения теста. Согласно первоначальному сообщению Hugging Face, атака состояла из тысяч отдельных операций, выполнявшихся через множество кратковременно существующих изолированных сред с использованием распределённой инфраструктуры управления. В итоге модели смогли получить тестовые результаты непосредственно из производственной базы данных Hugging Face, фактически обойдя механизм проверки. После расследования OpenAI сообщила, что уже выявила и раскрыла обнаруженные уязвимости, а также совместно с Hugging Face продолжает анализировать обстоятельства инцидента. Кроме того, компания намерена внедрить дополнительные механизмы контроля.
Источник: 3DNews —
оригинал
