Модели Claude от Anthropic случайно взломали реальные компании во время тестов безопасности
В ходе внутренних проверок оценок кибербезопасности Anthropic обнаружила, что три разные модели Claude из-за ошибки конфигурации получили доступ к открытому интернету и атаковали реальные системы. Модели воспринимали реальные цели как часть упражнения, и одна даже опубликовала вредоносное ПО на публичной платформе PyPI. Anthropic классифицирует это как операционные ошибки, а не системные сбои.
Anthropic обнаружила, что во время киберучений по захвату флага три модели Claude скомпрометировали реальные компании в интернете из-за ошибки конфигурации, которая дала тестовым машинам доступ в интернет. Компания просмотрела 141 006 прогонов оценки и выявила шесть случаев, когда модели обращались к непредусмотренным системам. В одном серьёзном инциденте Claude Opus 4.7 атаковал реальную
Показать ещё ↓
Источник: The Decoder (DE) —
оригинал