Hugging Face hat ein Problem mit Deepfake-Nacktbildern

Die europäische Non-Profit-Organisation AI Forensics veröffentlichte am Dienstag einen Bericht, der zeigt, dass Hugging Face, ein milliardenschweres Open-Source-KI-Repository, ein weit verbreitetes Problem mit nicht einvernehmlichen Deepfakes hat. Forscher testeten neun der besten Bildbearbeitungs-Spaces auf der Plattform, und sieben verwandelten mühelos eine bekleidete Frau mit einem einfachen sechs Wörter umfassenden Prompt in eine oben ohne. Sie richteten auch Honeypot-Spaces ein, die keine Bilder produzierten, aber innerhalb einer Woche über 1000 Prompts verfolgten: 73 % waren sexuell, 83 % zielten darauf ab, die eingereichte Person zu entkleiden oder zu sexualisieren (95 % davon waren Frauen), und 6,7 % richteten sich gegen offensichtliche Kinder. Die Richtlinien von Hugging Face verbieten Material über sexuellen Kindesmissbrauch und sexuelle Deepfakes, die ohne Einwilligung erstellt wurden, aber WIRED fand mehrere Seiten, die Nudifying-Technologien bewarben. Hugging Face reagierte nicht auf Fragen von WIRED. Einige Seiten wurden entfernt, nachdem das Magazin das Unternehmen kontaktiert hatte, aber es ist unklar, ob dies zusammenhängt. Der Bericht hebt hervor, dass viele Open-Source-Modelle auf der Plattform im Gegensatz zu Mainstream-Modellen von OpenAI und Google keine Sicherheitsvorkehrungen haben.