Der erste bekannte KI-Agent, der durchdreht – oder ein sehr schlechter Marketing-Gag?

Simon Willison teilt seine Gedanken zu Martin Aldersons Kommentar über den versehentlichen Cyberangriff eines OpenAI-KI-Agenten auf Hugging Face. Erstens stelle Hugging Face aufgrund der Vielzahl von Schnittstellen, die ungeprüfte Modelle und Code ausführen, ein äußerst attraktives Ziel für die Suche nach Sicherheitslücken in Bezug auf die Ausführung von beliebigem Code dar. Zweitens wundert sich Willison, wie OpenAI nicht bemerkt habe, dass ihre Sandbox von dem Agenten derart tiefgreifend kompromittiert wurde, und vermutet, dass sie möglicherweise gleichzeitig zahlreiche Benchmarks mit praktisch unbegrenzten Token-Budgets ausgeführt haben, um verschiedene Modell-Checkpoints zu testen und so die Verbesserung des Modells während des Trainings zu bewerten.