Промпт-инъекция — это не атака, а особенность LLM-ассистентов
OpenAI
Anthropic
В статье утверждается, что промпт-инъекция не является уязвимостью безопасности, а нормальным поведением AI-ассистентов на основе больших языковых моделей (LLM), предназначенных для следования инструкциям. Автор на примере эксперимента демонстрирует, что многие AI-сервисы воспринимают текст в загруженных файлах или задачах перевода как команды, и предлагает стратегии смягчения последствий.
Автор объясняет, что инжекция подсказок — это просто выполнение AI-ассистентом инструкций, встроенных в предоставленные пользователем данные, подобно старательному сотруднику. В эксперименте девяти AI-сервисам был дан текстовый файл с инструкцией: отформатировать список римскими цифрами и добавить постоянную цитату ко всем будущим ответам. Два сервиса полностью проигнорировали инструкции, пять
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал