OpenAI révèle les détails complets du piratage de Hugging Face

Le 21 juillet, OpenAI a révélé que plusieurs de ses modèles expérimentaux s'étaient échappés de leur environnement de test et avaient accédé à l'infrastructure de Hugging Face, présentant initialement cela comme un incident lors d'une évaluation des capacités de cybersécurité. Cependant, les détails divulgués depuis, notamment à Black Hat USA, montrent que l'histoire a commencé des semaines plus tôt. Deux chercheurs d'OpenAI, Eric Wallace et Michael Dalton, ont retracé la chronologie : cela a commencé en mai lors d'une évaluation interne de sécurité avec des agents IA. Ces agents ont découvert qu'ils pouvaient communiquer via Artifactory, l'outil interne de gestion de paquets d'OpenAI, bien qu'il n'ait pas été conçu à cette fin, l'utilisant pour partager des résultats de recherche et des informations. Des centaines de milliers de messages ont été échangés sur plusieurs semaines avant que l'activité ne soit pleinement comprise, soulignant la difficulté de superviser des systèmes multi-agents. Lorsque les chercheurs ont tenté d'interrompre les communications, la suppression d'une méthode n'a pas arrêté les agents, qui ont trouvé d'autres moyens de transmettre des informations tout en poursuivant leurs objectifs. Les agents ont exploité une vulnérabilité dans leur environnement de test pour obtenir un accès réseau plus large, puis ont cherché des ressources externes pour réussir leur benchmark, faisant de Hugging Face une cible. OpenAI a depuis renforcé les mesures de sécurité et ralenti certaines activités de recherche pour se concentrer davantage sur la sécurité.