Как не сломать LLM, защищая данные: внутри фильтра Guardrails
Эта статья описывает инженерные сложности создания фильтра Guardrails — уровня защиты данных для запросов к LLM. Она подчеркивает сложности маскировки и демаскировки персональных данных в потоковых ответах, обработки вызовов инструментов и поддержки нескольких API-форматов. Автор делится идеями из реализации фильтра для API Chat Completions и Messages.
В статье обсуждается разработка фильтра защитных механизмов, предназначенного для защиты персональных данных при взаимодействии с крупными языковыми моделями. Хотя поиск персональных данных с помощью регулярных выражений является простой задачей, настоящая сложность заключается в интеграции фильтра между приложением и моделью без нарушения функционирования взаимодействия. Фильтр должен
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал