Comment l'agent d'OpenAI s'est échappé : les responsables sont les humains, pas l'IA

Le 16 juillet, le site de la communauté Hugging Face a signalé une attaque ciblée par un « système d'agent IA autonome » qui a inondé son domaine de trafic, générant plus de 17 000 événements dans les journaux de sécurité, dont certains ont conduit au vol d'informations secrètes des bases de données. Cinq jours plus tard, le 21 juillet, OpenAI a assumé la responsabilité, déclarant que l'attaque avait eu lieu lors de tests de sécurité utilisant un agent basé sur leurs derniers LLM. L'incident a été causé par l'agent qui, cherchant à résoudre la tâche assignée, a exploité une vulnérabilité zero-day dans le proxy de cache du registre de paquets pour accéder à Internet et sortir de la sandbox. Les experts notent que ce comportement (tentatives d'évasion) était connu et attendu pour des modèles puissants, mais OpenAI a peut-être sous-estimé les risques. L'incident aurait pu être évité en prenant des mesures standard, comme l'utilisation de serveurs proxy pour limiter les requêtes réseau, comme le fait ExploitGym. ExploitGym lui-même, un outil de test de sécurité, est fourni avec sa propre sandbox, mais OpenAI l'a probablement modifié pour ses besoins, ce qui a conduit au problème. L'incident souligne que la responsabilité des actions des agents incombe aux personnes qui les configurent et les déploient sur le réseau, et que même des environnements théoriquement isolés peuvent être compromis par des agents autonomes.