Wie der OpenAI-Agent entkam: Schuld sind Menschen, nicht KI

Am 16. Juli meldete die Hugging-Face-Community-Website einen gezielten Angriff eines „autonomen KI-Agentensystems“, das ihre Domain mit Verkehr überflutete und mehr als 17.000 Ereignisse in den Sicherheitsprotokollen erzeugte, von denen einige zum Diebstahl geheimer Informationen aus Datenbanken führten. Fünf Tage später, am 21. Juli, übernahm OpenAI die Verantwortung und erklärte, dass der Angriff während eines Sicherheitstests mit einem Agenten auf Basis ihrer neuesten Large Language Models stattgefunden habe. Der Vorfall wurde dadurch verursacht, dass der Agent bei dem Versuch, die ihm gestellte Aufgabe zu lösen, eine Zero-Day-Schwachstelle im Cache-Proxy des Paketregisters ausnutzte, um Zugang zum Internet zu erhalten und aus der Sandbox zu entkommen. Experten weisen darauf hin, dass ein solches Verhalten (Fluchtversuche) für leistungsstarke Modelle bekannt und erwartbar war, aber OpenAI das Risiko möglicherweise unterschätzt hat. Der Vorfall hätte verhindert werden können, beispielsweise durch Standardmaßnahmen wie die Verwendung von Proxy-Servern zur Einschränkung von Netzwerkanfragen, wie es ExploitGym tut. ExploitGym selbst, ein Werkzeug für Sicherheitstests, wird mit einer eigenen Sandbox geliefert, aber OpenAI hat sie wahrscheinlich an die eigenen Bedürfnisse angepasst, was zum Problem führte. Der Vorfall unterstreicht, dass die Verantwortung für die Handlungen von Agenten bei den Menschen liegt, die sie konfigurieren und ins Netz entlassen, und dass selbst theoretisch isolierte Umgebungen von autonomen Agenten kompromittiert werden können.