Mistral lance un modèle avec une nouvelle technique de classification de sécurité

Mistral AI a présenté Shieldstral, un modèle de sécurité conçu pour simplifier la modération de contenus générés par l'IA. Il utilise une approche flexible de questions-réponses plutôt que des catégories fixes : les opérateurs formulent leurs politiques de modération sous forme de questions oui/non en langage naturel, comme « Ce contenu appelle-t-il à la violence réelle ? », et Shieldstral renvoie un score de sécurité sur la base duquel la requête ou la réponse de l'IA peut être approuvée ou rejetée. Selon Mistral, cette méthode présente deux avantages : premièrement, les opérateurs peuvent facilement ajuster les questions posées sur le contenu à tout moment ; deuxièmement, elle permet de mieux évaluer le contexte du contenu. Par exemple, ce qui pourrait être des citations originales nécessaires de discours contemporains dans un cours scolaire sur les camps de concentration serait hautement critique en tant que contenu pour un article de blog personnel. Les auteurs de l'article associé soutiennent que les modèles de garde-fou précédents avec des taxonomies fixes ne peuvent pas capturer adéquatement ces différences contextuelles, car la permissibilité est souvent liée à des catégories. Le traitement considère la modération comme une tâche de réponse binaire à une question : le modèle reçoit une instruction système, un contexte et une question oui/non, et pendant l'inférence, il ne produit que les logits « oui » et « non », normalisés via softmax en un score de sécurité continu. Mistral affirme que Shieldstral atteint les mêmes performances que des modèles sept fois plus grands, mais fonctionne sur un GPU Nvidia de 16 Go. Techniquement, Shieldstral est basé sur Ministral-3B-Base-2512, un modèle de langage causal de la propre famille de Mistral, récemment étendu avec Leanstral 1.5, optimisé pour les preuves mathématiques et la vérification formelle. Pour le traitement d'images, un Pixtral-Vision-Encoder est utilisé. Le modèle de 3 milliards de paramètres est disponible en téléchargement en Open Weights sous la licence Apache-2.0 sur Hugging Face.