MLSecOps : des priorités différentes selon les cas d'usage de l'IA

L'IA générative fait désormais partie du développement, utilisée à la fois comme assistant de codage (comme Copilot, Cursor, Claude, ChatGPT) et comme composant intégré de produit. Ces scénarios présentent des risques, des points de contrôle et des coûts d'erreur différents. MLSecOps est nécessaire pour intégrer la sécurité dans le cycle de vie des systèmes d'IA, des invites (prompts) et du code jusqu'aux ensembles de données, modèles, API d'inférence, protection à l'exécution et surveillance en production. Dans le scénario des outils de développement, les menaces clés incluent la génération de code non sécurisé, les fuites de secrets, l'injection indirecte de prompts et l'audit de conformité ; les contrôles doivent être placés à proximité du développeur, notamment un pare-feu LLM/IA, des vérifications IDE, la revue de PR (pull request) et l'intégration/déploiement continus (CI/CD) comme dernière ligne de défense. Dans le scénario d'intégration produit, l'IA devient une surface d'attaque à l'exécution avec des menaces telles que l'injection de prompts et les jailbreaks, l'extraction de modèles, la compromission de la chaîne d'approvisionnement ML et les attaques contre les agents IA. Les agents doivent être traités comme des utilisateurs privilégiés avec des droits minimaux et une mise en sandbox ; évaluer la « triade létale » (accès aux données privées, entrée non fiable, canal externe) aide à évaluer le risque. L'article souligne que les outils AppSec traditionnels ne couvrent pas ces vulnérabilités spécifiques à l'IA, donc MLSecOps étend plutôt que remplace DevSecOps.