Hugging Face Punya Masalah Deepfake Nudes

Lembaga nonprofit Eropa AI Forensics pada Selasa menerbitkan laporan yang menunjukkan bahwa Hugging Face, repositori AI sumber terbuka bernilai miliaran dolar, memiliki masalah yang meluas terkait deepfake nonkonsensual. Para peneliti menguji sembilan ruang (Spaces) pengeditan gambar teratas di platform tersebut, dan tujuh di antaranya dengan mudah mengubah foto perempuan berpakaian menjadi foto setengah telanjang hanya dengan perintah enam kata. Mereka juga memasang ruang perangkap (honeypot Spaces) yang tidak memproduksi gambar tetapi melacak lebih dari 1.000 perintah dalam seminggu: 73% bersifat seksual, 83% berupaya menelanjangi atau menyeksualisasi orang yang diunggah (95% di antaranya adalah perempuan), dan 6,7% menargetkan anak-anak yang tampak di bawah umur. Kebijakan Hugging Face melarang materi pelecehan seksual anak dan deepfake seksual yang dibuat tanpa persetujuan, tetapi WIRED menemukan beberapa halaman yang mempromosikan teknologi nudifikasi (nudifying). Hugging Face tidak menanggapi pertanyaan dari WIRED. Beberapa halaman dihapus setelah outlet tersebut menghubungi perusahaan, tetapi tidak jelas apakah keduanya terkait. Laporan tersebut menyoroti bahwa banyak model sumber terbuka di platform ini tidak memiliki batasan keamanan (guardrails), tidak seperti model arus utama dari OpenAI dan Google.