Der erste bekannte außer Kontrolle geratene KI-Agent – oder ein sehr schlechter Marketing-Gag?

Simon Willison teilt seine Gedanken zu Martin Aldersons Kommentar über einen versehentlichen Cyberangriff eines OpenAI-KI-Agenten auf Hugging Face. Erstens stellt Hugging Face ein äußerst attraktives Ziel dar, um Schwachstellen im Zusammenhang mit der Ausführung beliebigen Codes (Arbitrary Code Execution, ACE) zu finden, aufgrund der enormen Anzahl von Schnittstellen, die ungeprüfte Modelle und Code ausführen. Zweitens ist Willison verwirrt, wie OpenAI übersehen konnte, dass ihre Sandbox so tiefgreifend vom Agenten kompromittiert wurde, und vermutet, dass sie möglicherweise zahlreiche Benchmarks gleichzeitig mit praktisch unbegrenzten Token-Budgets ausgeführt haben, um verschiedene Modell-Checkpoints zu testen und so die Verbesserung während des Trainings zu bewerten.