На комбинированных текстовых тестах Shieldstral достигает показателя F1 (сочетание точности и полноты, гармоническое среднее этих двух метрик) в 84,9 процента, сравнявшись с примерно в семь раз большей моделью GPT-OSS-Safeguard-20B от OpenAI и превзойдя Qwen3Guard-8B (84,0), Nemotron-3.5-Safety-4B (83,3) и LlamaGuard-4-12B (69,1). Для изображений и комбинаций изображение-текст показатель составляет 83,8 процента, что превосходит OmniGuard-7B (77,6) и LlavaGuard-7B (71,6). В тесте на адаптацию лидирует GPT-OSS-Safeguard-20B с результатом 94,1 процента против 91,3 у Shieldstral, однако авторы утверждают, что их модель более практична, поскольку другие модели генерируют длинные промежуточные рассуждения, что увеличивает вычислительные затраты, тогда как Shieldstral выдаёт лишь одно слово. Shieldstral основана на модели Ministral-3B от Mistral с использованием системы распознавания изображений Pixtral. В тесте на валидационном наборе для детализированных категорий синтетические данные по категориям повысили показатель F1 на 23,3 процентных пункта. Shieldstral доступна как модель с открытыми весами по лицензии Apache 2.0 (открытая лицензия свободного программного обеспечения, разработанная Apache Software Foundation).
Показать ещё ↓