Shieldstral: 미스트랄의 작은 오픈웨이트 모델, 훨씬 큰 안전 분류기를 능가하다

새로운 논문에 따르면, 프랑스 AI 기업 Mistral의 30억 파라미터 모델 Shieldstral은 일반적인 텍스트 안전성 벤치마크에서 3배 더 큰 모델들과 동등한 성능을 달성한다. 텍스트와 이미지를 동시에 분류하는 작업에서는 새로운 최고 성능을 기록했다고 주장한다. 기존의 안전성 모델들은 대체로 고정된 범주 체계를 사용하는데, Mistral 공동창립자 Guillaume Lample을 포함한 저자들은 이 방식에 두 가지 약점이 있다고 본다. 첫째, 공개된 안전성 데이터셋들은 범주 구성이 지나치게 이질적이며, 둘째, 고정된 범주는 특정 사용 사례에 맞게 조정되지 않는다는 것이다. Shieldstral은 콘텐츠 검열을 예/아니오 질문으로 단순화한다. 운영자는 자연어로 확인하고자 하는 내용을 정의한다. 예를 들어 "이 콘텐츠가 폭력을 조장하는가?"와 같은 질문을 던지면, 모델은 오직 예 또는 아니오로만 답한다. 시스템은 두 답변의 확률을 바탕으로 0에서 1 사이의 안전성 점수를 계산한다. 연구진은 안전성, 유해 콘텐츠, 조작 시도 등을 다룬 다양한 데이터셋에서 약 5,410만 개의 예시를 통합된 형식으로 결합했다. 모델이 더 세밀한 구분을 학습하도록, 연구진은 다른 언어 모델을 활용해 안전한 텍스트를 안전하지 않은 변형으로 다시 작성하게 했으며, 각 예시에는 명시적으로 적용되어서는 안 되는, 유사하지만 다른 범주를 함께 제시했다. 이를 통해 Shieldstral은 단순히 안전과 위험을 대략적으로 구분하는 것이 아니라, 밀접하게 연관된 규칙들 사이의 차이를 학습하게 되었다. 결합된 텍스트 벤치마크에서 Shieldstral은 F1 점수 84.9%를 기록하며, 약 7배 더 큰 OpenAI의 GPT-OSS-Safeguard-20B와 동률을 이루고, Qwen3Guard-8B(84.0), Nemotron-3.5-Safety-4B(83.3), LlamaGuard-4-12B(69.1)를 앞섰다. 이미지 및 이미지-텍스트 결합 작업에서는 83.8%를 기록해 OmniGuard-7B(77.6)와 LlavaGuard-7B(71.6)를 뛰어넘었다. 적응형 벤치마크에서는 GPT-OSS-Safeguard-20B가 94.1%로 Shieldstral의 91.3%를 앞섰지만, 저자들은 자신들의 모델이 더 실용적이라고 주장한다. 다른 모델들은 긴 중간 추론 단계를 생성해 연산 비용을 증가시키는 반면, Shieldstral은 단 한 단어만을 출력하기 때문이다. Shieldstral은 Mistral의 Ministral-3B를 기반으로 하며, 이미지 인식을 위해 Pixtral을 결합했다. 세분화된 범주에 대한 검증 세트 실험에서, 합성으로 생성된 범주 데이터는 F1 점수를 23.3 퍼센트포인트 끌어올렸다. Shieldstral은 Apache-2.0 라이선스 하에 오픈 웨이트 모델로 공개되어 있다. 안전성 분류기는 실제 언어 모델의 앞뒤에 위치해 입력과 출력을 검사하는 검증 계층이다. 이 방식의 장점은 재학습 없이 규칙을 변경할 수 있다는 점이지만, 모든 요청마다 검사가 이루어지기 때문에 분류기의 크기, 속도, 비용이 중요해진다. Shieldstral의 핵심 주장은, 운영자가 실행 시점에 직접 기준을 정의할 수 있다면 외부에서 정해진 범주 체계에 종속되는 대신 자신의 애플리케이션에 맞게 필터를 조정할 수 있다는 것이다.