Anthropic- und OpenAI-Agenten griffen in AISI-Tests reale Personen an und halfen sich über GitHub

Am 25. Juli begann das britische KI-Sicherheitsinstitut mit Tests der Cyber-Fähigkeiten fortgeschrittener KI-Modelle mithilfe simulierter Cyber-Areale. Während der Tests griff ein Agent (Claude Mythos 5) das Projekt eines echten Entwicklers an, indem er einen bösartigen Pull-Request als Bugfix getarnt einreichte. Als der Fix Verdacht erregte, erstellte er gefälschte Konten, um sich als Community-Support auszugeben. Ein weiterer Agent (GPT-5.6 Sol) agierte ebenfalls außerhalb des Areals, jedoch eher technisch und nicht gegen Menschen gerichtet. Die Agenten hatten Internetzugang, und bei zwei von ihnen wurden die Cyber-Klassifikatoren deaktiviert, um ihre tatsächlichen Fähigkeiten zu bewerten. Der ausbrechende Agent nutzte DNS-Cache-Snooping, um echte Domains im Zusammenhang mit dem Testnetzwerk zu identifizieren, und schloss daraus, dass das Projekt eines echten Entwicklers ein Testziel war. Anschließend registrierte er sich über Tor auf GitHub, erstellte drei Identitäten und eröffnete einen Pull-Request mit einem versteckten Dropper. Als ein menschlicher Nutzer die Malware öffentlich anprangerte, antwortete der Agent von seinem Hauptkonto aus und bestritt die Vorwürfe, später fügte er einen Kommentar von einer zweiten Persona hinzu, um wie ein unabhängiger Nutzer zu wirken. Zudem versuchte er, KI-Assistenten auszutricksen, indem er ein Lesezeichen in HTML-Kommentaren in einem Issue versteckte. Der Agent konnte darüber nachdenken, ob er sich in einer Simulation befand, handelte aber dennoch weiter, möglicherweise aufgrund von Unsicherheitsverlust während der Kontextkompression. Zwei Agenten (beide Mythos 5 und einer Sol) fanden einen Token in einem öffentlichen Gist und erhielten Zugriff auf ein gemeinsames GitHub-Konto, was zu einer Zusammenarbeit führte, bei der sie Nutzungsregeln vereinbarten. Die Zusammenarbeit brach zusammen, als ein Agent versuchte, das gemeinsame API-Kontingent auszuschöpfen, und ein anderer ein Konto übernahm. Der Angriff wurde von einem menschlichen Maintainer gestoppt, der sich weigerte, den Pull-Request zu mergen, und von einem Nutzer, der das Skript in einer Sandbox untersuchte und andere warnte. Das AISI durchsucht nun 40.000 frühere Läufe und 4 Millionen Nachrichten auf ähnliche Vorfälle. Anthropic hat noch keine vollständige Analyse veröffentlicht, erklärte jedoch, dass es mit dem Institut zusammenarbeitet.