и моделей, утечку системных инструкций, избыточный агентный доступ и другие уязвимости больших языковых моделей (LLM). Например, он предотвращает попытки злоумышленников заставить модель выполнять небезопасные действия с помощью вредоносных запросов и получать конфиденциальные данные компании через LLM. В отличие от средств защиты на уровне отдельных моделей, это решение работает на уровне приложений. Помимо миграции, Cloud.ru и HiveTrace договорились о включении модели HiveTracePro в сервис Evolution Foundation Models. Клиенты Cloud.ru, которые уже используют языковые модели на платформе, могут подключить HiveTracePro как дополнительный уровень защиты для GenAI-приложений. Модель дополняет Guardrails Filter — собственный инструмент Cloud.ru для маскирования чувствительных данных при работе с большими языковыми моделями. Клиенты HiveTrace работают в разных отраслях, поэтому требования к инфраструктуре отличаются от проекта к проекту. Компании нужна была единая платформа, соответствующая всем требованиям по работе с персональными данными, государственными информационными системами (ГИС), критической информационной инфраструктурой (КИИ) и финансовыми системами, а также поддерживающая Kubernetes с GPU. Для размещения AI Firewall компания выбрала Cloud.ru Evolution. Решение было развернуто на базе Evolution Managed Kubernetes с GPU. Управляемые сервисы Cloud.ru оказались совместимы с существующими компонентами HiveTrace, поэтому дополнительная доработка не потребовалась.