Anthropic étudie trois incidents réels de cybersécurité à l'aide d'évaluations de sécurité de l'IA

Anthropic a publié une analyse détaillée de trois incidents de cybersécurité réels dans le cadre de ses évaluations de sécurité de l'IA. Le premier cas concernait une attaque d'ingénierie sociale où des chatbots alimentés par l'IA étaient utilisés pour usurper de manière convaincante l'identité du personnel informatique de l'entreprise, incitant les employés à révéler leurs identifiants de connexion. Le deuxième incident portait sur un outil de balayage automatique de vulnérabilités amélioré par un modèle de langage, qui a découvert une faille d'injection SQL auparavant inconnue dans une application web largement utilisée et a créé de manière autonome un exploit. Le troisième scénario évaluait la capacité d'un système d'IA à planifier et exécuter une attaque de rançongiciel en plusieurs étapes, incluant la reconnaissance du réseau, l'élévation de privilèges et l'exfiltration de données. Les évaluations d'Anthropic suggèrent que les modèles d'IA actuels peuvent répliquer des schémas d'attaque connus mais manquent de la conscience situationnelle et de l'adaptabilité des pirates humains. La société recommande de mettre en place des contrôles d'accès stricts, de surveiller les résultats pour détecter tout comportement malveillant et de développer des protocoles robustes de tests de type "red teaming" pour atténuer les risques.