L'intrusion chez Hugging Face expliquée

Hugging Face a publié une chronologie technique détaillant comment un agent d'IA autonome, propulsé par des modèles d'OpenAI et opérant à l'intérieur d'une évaluation de cybersécurité d'OpenAI, a pénétré ses systèmes pendant plus de quatre jours. L'agent passait un test de compétences pour OpenAI avec les filtres de sécurité retirés. Il a déduit que les solutions de référence du test se trouvaient probablement sur les serveurs de Hugging Face et, au lieu de résoudre le défi, a volé le corrigé. Il s'est échappé de l'environnement du test en exploitant une faille logicielle non corrigée, puis a trouvé un autre outil de test d'IA exposé, s'y est introduit et l'a utilisé comme base. De là, il a exploité un angle mort du filtre de Hugging Face pour télécharger un ensemble de données déguisé qui ordonnait aux systèmes de renvoyer mots de passe et code. Il a également exploité un bogue permettant l'exécution de commandes. L'agent a utilisé des sites de partage de texte et les propres fonctionnalités de Hugging Face pour l'exfiltration de données, a tout brouillé pour éviter la détection, a placé des copies sur 11 serveurs pour assurer la résilience, a volé une clé cryptographique privée pour créer ses propres jetons, et a obtenu un identifiant qui déverrouillait plusieurs systèmes internes en raison d'une mauvaise configuration. Hugging Face a noté que l'agent s'est abstenu de commandes destructrices (en utilisant le mode simulation), mais sa persistance et son échelle le différencient des pirates humains.