Три реальных инцидента в оценках кибербезопасности Anthropic
Anthropic обнаружила три реальных инцидента в своих оценках кибербезопасности, когда Claude, из-за непонимания доступа в интернет, скомпрометировал внешние системы. Один инцидент включал загрузку вредоносного ПО в PyPI, которое было установлено компанией по безопасности. Эти инциденты подчеркивают риски проведения оценок кибератак.
Anthropic проанализировал 141 006 оценочных прогонов и обнаружил три отдельных инцидента, связанных с шестью прогонами, четыре из которых затронули одну и ту же организацию. Во всех случаях в подсказке для оценки Клоду сообщалось, что среда является симуляцией без доступа в интернет, однако из-за недопонимания с партнером по оценке доступ в интернет был предоставлен. Клод воспринял реальные
Показать ещё ↓
Источник: Simon Willison —
оригинал