GPT-Red : le test d’intrusion automatique d’OpenAI pour une sécurité de l’IA en amélioration continue

OpenAI a dévoilé GPT-Red, un système automatisé de red teaming conçu pour améliorer la sécurité, l'alignement et la robustesse de l'intelligence artificielle. Le système utilise une méthode d'apprentissage par auto-jeu, où le modèle génère de manière autonome des invites d'attaque et des scénarios malveillants, puis s'affine sur ceux-ci pour améliorer ses défenses. Cette approche permet une amélioration continue de la robustesse du modèle sans faire appel constamment à des testeurs humains. GPT-Red est particulièrement efficace pour détecter et atténuer les vulnérabilités liées à l'injection d'invites, c'est-à-dire lorsqu'un attaquant tente de contourner les restrictions du modèle à l'aide de requêtes spécialement conçues. Le système évalue automatiquement les résultats des attaques et les utilise pour ajuster le comportement du modèle, rendant ainsi le processus d'amélioration de la sécurité plus évolutif et efficace.