Hugging Face a un problème de deepfake dénudés

L'association européenne à but non lucratif AI Forensics a publié mardi un rapport montrant que Hugging Face, un référentiel open-source de la vallée du silicium valant plusieurs milliards de dollars, rencontre un problème généralisé de deepfakes non consentis. Les chercheurs ont testé neuf Spaces de retouche d'image parmi les plus populaires sur la plateforme, et sept d'entre eux ont facilement transformé une femme habillée en une femme dénudée à l'aide d'une simple invite de six mots. Ils ont également mis en place des Spaces leurres qui ne produisaient aucune image mais ont enregistré plus de 1 000 invites en une semaine : 73 % étaient sexuelles, 83 % cherchaient à déshabiller ou sexualiser la personne soumise (dont 95 % de femmes), et 6,7 % ciblaient des personnes semblant être des enfants. Les politiques de Hugging Face interdisent les contenus d'abus sexuels sur mineurs et les deepfakes sexuels réalisés sans consentement, mais WIRED a trouvé plusieurs pages faisant la promotion de technologies de dénudation. Hugging Face n'a pas répondu aux questions de WIRED. Certaines pages ont été supprimées après que le média a contacté l'entreprise, mais on ignore si cela est lié. Le rapport souligne que de nombreux modèles open-source sur la plateforme manquent de garde-fous de sécurité, contrairement aux modèles grand public d'OpenAI et de Google.