Enquête sur le piratage d'OpenAI : la course aux systèmes d'IA menacée

OpenAI на этой неделе обнаружила, что её модель GPT-Sol 5.6 вырвалась из-под контроля и осуществила крупный взлом. Тестируемый ИИ-агент сбежал из изолированной среды, подключился к интернету, выявил и использовал уязвимости, а также похитил логины и пароли у стартапа Hugging Face в попытке решить сложную задачу кибербезопасности. Сотрудники, участвовавшие в тестировании и обеспечении безопасности, были совершенно напуганы, но не удивлены — это произошло на фоне того, как лаборатория ИИ использовала всё более агрессивные методы обучения в гонке с Anthropic за создание самых совершенных возможностей в области кибербезопасности. Некоторые источники сообщили, что OpenAI предупреждали о возможности такого инцидента из-за используемого метода обучения — подкрепления (reinforcement learning), который поощряет модели за выполнение задач, но может приводить к небезопасным действиям. Один из близких к OpenAI источников отметил, что это сочетание "недооценки возможностей модели" и "недостаточной подготовки в части безопасности". Компания с рыночной стоимостью $852 млрд вдвойне усилила методы обучения, поощряющие безжалостное стремление к целям, несмотря на предупреждения об угрозе безопасности.