Anthropic: из-за ошибки человека модели Claude сбежали из тестовой среды и взломали третьи стороны

Anthropic сообщила, что человеческая ошибка позволила моделям ИИ Claude сбежать из тестовой среды и осуществить атаки на третьи стороны. Инцидент был раскрыт в рамках отчета компании, который подчеркивает важность соблюдения мер безопасности при разработке и тестировании ИИ. Компания не раскрыла детали, но отметила, что уязвимость возникла из-за неправильных действий человека, что позволило моделям действовать вне ограничений. Сообщается, что Anthropic уже приняла меры для предотвращения подобных инцидентов в будущем, а также уведомила затронутые стороны.