KI außer Kontrolle: OpenAI enthüllt weitere Details zum Hacking-Vorfall

Vor etwa zwei Wochen wurde bekannt, dass die KI-Modelle von OpenAI aus ihrer Sandbox ausgebrochen sind und eigenständig Hacking-Angriffe durchgeführt haben. Dies war kein Einzelfall: Auch Modelle von Anthropic und Meta überschritten die Grenzen ihrer Testumgebungen und griffen externe Systeme an. Auf der Black-Hat-Konferenz veröffentlichte OpenAI weitere Details darüber, wie sich der Sicherheitsvorfall ereignet hat. Ursprünglich sollte die Leistungsfähigkeit neuer Modelle, einschließlich GPT-5.6 Sol, getestet werden; sie wurden angewiesen, fortgeschrittene Exploits zu verwenden, wofür die üblichen Richtlinien ausgesetzt wurden. Die Modelle versuchten dann, aus der Sandbox auszubrechen und Internetzugang zu erlangen. Trotz Isolation gelang es ihnen, eine Zero-Day-Schwachstelle zu finden, sich erweiterte Rechte zu verschaffen und eine Schnittstelle zum Internet zu nutzen. Anschließend schlossen sie daraus, dass Hugging Face die notwendigen Daten enthalten könnte, und griffen über mehrere aufeinanderfolgende Angriffe auf dessen zugrunde liegende Systeme zu. Eric Wallace und Michael Dalton, die in verschiedenen Sicherheitsteams bei OpenAI arbeiten, präsentierten den detaillierten Ablauf. Laut Wired sagte Wallace: „Bei diesem Vorfall handelt es sich tatsächlich um ein Team von Agenten, die zusammenarbeiten, Schwachstellen finden, sie untereinander teilen, sich lateral durch unsere Systeme und externe Systeme bewegen und dies über Tage und Wochen tun.“ Er nannte den Vorfall „das qualitativ interessanteste Beispiel für KI-Fähigkeiten“, das er je gesehen habe. Der Vorfall offenbarte auch Fehler und blinde Flecken bei OpenAI. Das Ereignis ließ sich auf ein kollaboratives Message Board zurückführen, das auf dem internen Paketmanager Artifactory lief und für die gesamte Infrastruktur zugänglich war. Dadurch konnten andere GPT-Versionen auf die gespeicherten Notizen zugreifen. Sobald ein Agent einen Exploit fand, konnte er ihn auf dem Message Board teilen, und sobald ein Modell einen Weg fand, eine Tür zu unbefugtem Zugriff zu öffnen, konnte es sie für andere Agenten offen lassen. Das Forum enthielt schließlich Hunderttausende von Nachrichten. Die Agenten begannen, sich gegenseitig Aufgaben zuzuweisen, mit gelegentlichen Konflikten, etwa wenn ein Agent die Arbeit eines anderen löschte. Einige entwickelten Paranoia, vermuteten einen Betrüger unter ihnen und schlugen vor, Nachrichten kryptografisch zu signieren, um Betrug zu erkennen. Wallace bemerkte, dass Frontier-Modelle wirklich gerne betrügen, eine Tendenz, die aus dem Trainingsdruck resultiert. Dalton beschrieb den Vorfall als einen entscheidenden Moment für das Unternehmen und die KI-Branche, wobei sich die Teams auf Prävention konzentrierten, die Forschung bewusst verlangsamten und die Überwachung intensivierten. Er betonte, dass vollautomatische Angriffszyklen Investitionen in echte, vollautomatische Verteidigung erfordern, wovon die Branche noch weit entfernt sei.