Hugging Face Tiene un Problema con Desnudos Falsos Generados por IA

La organización europea sin ánimo de lucro AI Forensics publicó un informe el martes que muestra que Hugging Face, un repositorio de inteligencia artificial de código abierto valorado en miles de millones de dólares, tiene un problema generalizado con deepfakes no consentidos. Los investigadores probaron nueve Spaces de edición de imágenes populares en la plataforma, y siete convirtieron fácilmente a una mujer vestida en una sin ropa usando un simple mensaje de seis palabras. También configuraron Spaces señuelo que no producían imágenes, pero registraron más de 1000 mensajes en una semana: el 73% eran sexuales, el 83% buscaba desnudar o sexualizar a la persona enviada (el 95% de estas eran mujeres), y el 6.7% apuntaba a aparentes menores. Las políticas de Hugging Face prohíben el material de abuso sexual infantil y los deepfakes sexuales creados sin consentimiento, pero WIRED encontró múltiples páginas que promocionaban tecnologías de desnudamiento. Hugging Face no respondió a las preguntas de WIRED. Algunas páginas fueron eliminadas después de que el medio contactara a la empresa, pero no está claro si hay relación. El informe destaca que muchos modelos de código abierto en la plataforma carecen de barreras de seguridad, a diferencia de los modelos convencionales de OpenAI y Google.