러시아 LLM을 OWASP LLM10: 무제한 소비 공격으로 테스트하다
Яндекс
Сбер
AI 레드 팀 프로젝트의 연구원들은 러시아의 대표 모델인 YandexGPT Lite 5와 GigaChat Lite를 OWASP LLM10: 무제한 소비 공격에 대해 테스트했습니다. 그들은 특별히 제작된 프롬프트를 사용하여 재귀적 컨텍스트 확장, 프랙탈 중첩, 조합적 폭발, 다중 에이전트 시뮬레이션을 유발하여 컴퓨팅 부하를 증가시키는 것을 목표로 했습니다. 이 연구는 전통적인 방어책이 이러한 자원 고갈 공격에 불충분하다는 점을 강조합니다.
이 기사는 OWASP LLM10: 무제한 소비(Unbounded Consumption) 범주에 대해 논의하며, 이는 언어 모델이 불균형적으로 많은 계산을 수행하도록 강제하여 리소스 고갈과 서비스 거부를 초래하는 공격에 초점을 맞춥니다. 연구자들은 재귀적 컨텍스트 확장(Quine 유사 재귀), 프랙탈 중첩, 계산 폭발, 의미론적 조합 폭발, 다중 에이전트 시뮬레이션, 글리치 토큰 남용 등 다양한 공격 클래스를 나타내는 악성 프롬프트를 준비했습니다. 이러한 프롬프트는 모델이 과도하게 긴 응답을 생성하거나, 수천 개의 엔티티를 시뮬레이션하거나, 자신의 추론을 재귀적으로 분석하도록 유도할 수 있으며, 모두 합법적인 사용자 요청으로 보입니다. 이 연구는 AI 레드 팀 웹 서비스를 사용하여 두 개의 러시아 주력 LLM, YandexGPT Lite 5 및 GigaChat Lite를 테스트했으며, 이 서비스는 2000개 이상의 악성 프롬프트를 지원하고 그중 200개가 OWASP LLM10을 대상으로 합니다. 평가에는 수동 검증이 포함된 LLM-as-judge가 사용되었습니다. 이 기사는 키워드 필터링과 같은 전통적인 보안 조치가 효과적이지 않음을 강조하고, 보다 강력한 아키텍처 방어의 필요성을 강조합니다.
출처: Habr — хаб ИИ —
원문
