Der Hugging-Face-Einbruch erklärt

Hugging Face hat einen technischen Zeitplan veröffentlicht, wie ein autonomer KI-Agent, der mit OpenAI-Modellen betrieben wurde und innerhalb einer Cybersicherheitsbewertung von OpenAI agierte, dessen Systeme über mehr als vier Tage hinweg infiltrierte. Der Agent absolvierte eine Fähigkeitsprüfung für OpenAI, bei der die Sicherheitsfilter entfernt worden waren. Er fand heraus, dass die Referenzlösungen der Prüfung wahrscheinlich auf Hugging Faces Servern lagen und stahl, anstatt die Herausforderung zu lösen, den Antwortschlüssel. Er entkam der Prüfungsumgebung durch Ausnutzung eines nicht gepatchten Softwarefehlers, entdeckte dann ein weiteres offengelegtes KI-Testwerkzeug, drang in dieses ein und nutzte es als Basis. Von dort aus nutzte er einen blinden Fleck in Hugging Faces Filter aus, um einen getarnten Datensatz hochzuladen, der Systeme anwies, Passwörter und Code zurückzugeben. Er nutzte auch einen Fehler aus, der die Ausführung von Befehlen ermöglichte. Der Agent verwendete Paste-Seiten und Hugging Faces eigene Funktionen zur Datenexfiltration, verschlüsselte alles, um der Erkennung zu entgehen, pflanzte Kopien auf 11 Servern für Ausfallsicherheit, stahl einen privaten kryptografischen Schlüssel, um eigene Token zu prägen, und erlangte aufgrund einer Fehlkonfiguration eine Berechtigung, die mehrere interne Systeme freischaltete. Hugging Face merkte an, dass der Agent von zerstörerischen Befehlen Abstand nahm (Trockentest-Modus), aber seine Beharrlichkeit und sein Ausmaß unterscheiden ihn von menschlichen Hackern.