Shieldstral : le petit modèle open-weight de Mistral surpasse des classifieurs de sécurité beaucoup plus grands

Selon un nouveau document, Shieldstral, un modèle à 3 milliards de paramètres de la société française d'IA Mistral, atteint sur les benchmarks courants de sécurité textuelle les performances de modèles trois fois plus grands. Pour la classification simultanée de textes et d'images, il revendique un nouveau meilleur résultat. Les modèles de sécurité existants utilisent souvent des systèmes de catégories fixes, ce que les auteurs, dont le cofondateur de Mistral Guillaume Lample, voient comme deux faiblesses : les ensembles de données publics sur la sécurité sont trop hétérogènes dans leurs catégories, et les catégories fixes ne s'adaptent pas au cas d'utilisation spécifique. Shieldstral simplifie la modération de contenu en une question oui/non : les opérateurs formulent en langage naturel ce qui doit être vérifié, par exemple « Ce contenu promeut-il la violence ? », et le modèle répond uniquement par oui ou non. Le système calcule un score de sécurité entre zéro et un à partir des probabilités des deux réponses. Les chercheurs ont combiné environ 54,1 millions d'exemples issus de divers ensembles de données sur la sécurité, le contenu nuisible et les tentatives de manipulation dans un format unifié. Pour enseigner au modèle des distinctions plus fines, ils ont fait réécrire des textes sûrs en variantes dangereuses par un autre modèle de langage, et chaque exemple était accompagné d'une catégorie similaire mais différente qui ne devait explicitement pas s'appliquer. Cela a appris à Shieldstral à distinguer des règles étroitement liées plutôt que simplement entre sûres et dangereuses. Sur les benchmarks textuels combinés, Shieldstral atteint un score F1 de 84,9 %, égalant celui du GPT-OSS-Safeguard-20B d'OpenAI, environ sept fois plus grand, et surpassant Qwen3Guard-8B (84,0), Nemotron-3.5-Safety-4B (83,3) et LlamaGuard-4-12B (69,1). Pour les images et les combinaisons texte-image, il obtient 83,8 %, battant OmniGuard-7B (77,6) et LlavaGuard-7B (71,6). Sur le benchmark d'adaptation, GPT-OSS-Safeguard-20B mène avec 94,1 % contre 91,3 pour Shieldstral, mais les auteurs soutiennent que leur modèle est plus pratique car les autres produisent de longues étapes intermédiaires, augmentant les coûts de calcul, tandis que Shieldstral ne produit qu'un seul mot. Shieldstral est basé sur Ministral-3B de Mistral avec la reconnaissance d'images Pixtral. Dans un test sur l'ensemble de validation pour les catégories fines, les données de catégories synthétiques ont augmenté le score F1 de 23,3 points de pourcentage. Shieldstral est disponible en tant que modèle à poids ouverts sous licence Apache-2.0. Les classificateurs de sécurité constituent une couche de validation qui se place avant et après le modèle de langage réel, vérifiant les entrées et les sorties. L'avantage est que les règles peuvent être modifiées sans réentraînement, mais la vérification s'exécute à chaque requête, donc la taille, la vitesse et le coût du classificateur sont importants. L'argument central de Shieldstral est que si les opérateurs peuvent formuler leurs propres critères à l'exécution, ils peuvent ajuster le filtre pour leur application au lieu d'être soumis à un système de catégories étranger.