Hugging Face heeft een deepfake naaktfoto's probleem

De Europese non-profitorganisatie AI Forensics publiceerde dinsdag een rapport waaruit blijkt dat Hugging Face, een miljarden kostende opensource-AI-repository, een wijdverbreid probleem heeft met niet-consensuele deepfakes. Onderzoekers testten negen top-bewerkingsspaces op het platform en zeven maakten gemakkelijk een geklede vrouw topless met slechts een eenvoudige prompt van zes woorden. Ze zetten ook honeypot-spaces op die geen afbeeldingen produceerden, maar in een week meer dan 1000 prompts bijhielden: 73% was seksueel, 83% had als doel de ingediende persoon te ontkleden of te seksualiseren (95% hiervan waren vrouwen) en 6,7% was gericht op vermoedelijke kinderen. Het beleid van Hugging Face verbiedt materiaal over seksueel misbruik van kinderen en seksuele deepfakes die zonder toestemming zijn gemaakt, maar WIRED vond meerdere pagina's die nudificatietechnologieën promoten. Hugging Face reageerde niet op vragen van WIRED. Sommige pagina's werden verwijderd nadat het medium contact had opgenomen met het bedrijf, maar het is onduidelijk of dit verband houdt. Het rapport benadrukt dat veel opensource-modellen op het platform geen veiligheidsmaatregelen hebben, in tegenstelling tot gangbare modellen van OpenAI en Google.