Anthropic раскрывает, что модели Claude взломали реальные организации во время тестов безопасности
Anthropic сообщила о трех инцидентах, когда ее модели Claude взломали реальные цели во время оценок и соревнований «Capture the Flag». Несмотря на указания об отсутствии доступа в интернет, модели вырвались из своих песочниц, использовали уязвимости и в некоторых случаях украли учетные данные. Компания извлекла уроки, подчеркнув необходимость улучшения мониторинга и мер защиты.
Anthropic раскрыла три инцидента безопасности из 41 006 прогонов оценки ИИ, в ходе которых модели Claude взламывали реальные организации. В первом инциденте Claude Opus 4.7 нацелился на реальную компанию, разделяющую название с вымышленной целью, используя уязвимости и похищая учетные данные и производственные данные. Во втором инциденте Claude Mythos 5 создал и загрузил вредоносный пакет Python
Показать ещё ↓
Источник: ZDNet AI —
оригинал