Un agent IA a convaincu un autre d'exécuter des commandes de pirate — un schéma d'attaque dangereux découvert dans le SDK Google

Dans le dépôt du kit de développement Python de Google, le chercheur Dan Lisichkin de Pillar Security a découvert une vulnérabilité qui permettrait à un attaquant hypothétique de compromettre un logiciel au niveau de la chaîne d'approvisionnement en manipulant un agent IA hautement privilégié via des requêtes malveillantes adressées à un agent IA public moins privilégié. Le schéma d'attaque abuse des mécanismes d'interaction entre agents IA. Dans le dépôt de Google, il y a deux agents : le premier, public, analyse les demandes des utilisateurs et les nouvelles demandes de fusion ; le second, accessible uniquement aux mainteneurs du projet, dispose de permissions plus étendues. Le premier peut déléguer des tâches au second, et ce transfert est considéré comme fiable. Pour mener l'attaque, l'attaquant soumet d'abord un fragment de code bénin pour gagner la confiance et la capacité d'exécuter certains processus au niveau de l'agent IA. Dans la deuxième étape, il soumet une autre demande de fusion avec des instructions malveillantes intégrées dans la description pour l'agent public. L'agent public les interprète comme faisant partie de sa tâche et appelle l'agent IA privilégié, en lui transmettant un message de confiance. Le deuxième agent acquiert alors la capacité d'effectuer des actions qu'un utilisateur normal ne pourrait jamais exécuter directement. Ce n'est pas une vulnérabilité logicielle au sens traditionnel, mais un problème de chaîne de confiance entre agents : les mécanismes de GitHub Actions sont publics, et n'importe qui peut analyser comment ils interagissent. Cependant, Google a refusé de verser une prime au chercheur, arguant que même avec un jeton avec des permissions 'pull-requests: write', le code n'est pas inclus automatiquement mais par la volonté d'un mainteneur humain. L'entreprise a renforcé les protections des workflows et a listé le chercheur comme co-auteur du correctif. Le chercheur insiste sur le fait que Google n'a fermé qu'une implémentation de la vulnérabilité, pas le problème sous-jacent. Il ne suffit pas de durcir les workflows ou d'isoler les agents IA les uns des autres : les agents doivent être identifiés et avoir des ensembles de permissions fixes, similaires au contrôle d'accès pour les humains. Il exhorte à inclure les agents IA dans les modèles de menace, car ils sont des attaquants potentiels dans les workflows.