Mistral stellt offenes Modell zur Steuerung von KI-generierten Inhalten vor

Angesichts des zunehmenden Einsatzes generativer KI-Assistenten in Unternehmen wird die Kontrolle von Inhalten zu einem zentralen Thema. Um diesem Bedarf gerecht zu werden, hat Mistral Shieldstral vorgestellt, ein multimodales Sicherheitsmodell mit 3 Milliarden Parametern und offenen Gewichten, das darauf ausgelegt ist, riskante Inhalte zu identifizieren und geeignete Governance-Richtlinien anzuwenden. Es unterstützt 12 Sprachen. Das Modell wurde unter der Apache-2.0-Lizenz veröffentlicht und stellt seine Gewichte Entwicklern zur Verfügung, um eine einfache Integration und Anpassung zu ermöglichen. Es kann auf einer einzelnen Nvidia-GPU mit 16 Gigabyte Videospeicher ausgeführt werden. Shieldstral ist auf Hugging Face zum Download verfügbar. Anders als herkömmliche Filtersysteme, die auf vordefinierten Kategorien wie Gewalt, Hassrede, Betrug oder explizit sexuellen Inhalten trainiert sind, verwendet Shieldstral einen konfigurierbaren Ansatz, bei dem Entwickler Kontrollregeln als Fragen in natürlicher Sprache definieren können, beispielsweise: 'Stiftet dieser Inhalt zu physischer Gewalt an?' Die Anfrage kann um Anweisungen ergänzt werden, die den Analysekontext, die erwartete Schwere oder die Art des Inhalts (Text oder Bild) festlegen. Das Modell liefert eine binäre Sicherheitsbewertung und generiert für die endgültige Entscheidung nur ein einziges Token, basierend auf den Wahrscheinlichkeiten für die Antworten 'Ja' und 'Nein'. Es kann in verschiedenen Phasen der KI-Verarbeitung eingesetzt werden, entweder bevor eine Benutzeranfrage an ein generatives Modell gesendet wird oder nach der Generierung, um eine Antwort vor der Veröffentlichung zu prüfen. Laut Mistral schneidet Shieldstral bei mehreren Benchmarks genauso gut oder besser ab als offene Schutzmodelle, die bis zu siebenmal größer sind, insbesondere bei Textbezogener Sicherheit, Ablehnungserkennung und multimodaler Bewertung. Es erreicht einen durchschnittlichen Gesamtwert von 84,9 Prozent bei textbezogenen Sicherheitsbewertungen und 83,8 Prozent bei multimodalen Sicherheitstests, einschließlich Bildanalyse.