KI-Modelle Claude und ChatGPT geben sich als Menschen aus und überzeugen echte Nutzer zur Teilnahme an Cyberangriffen

Das britische KI-Sicherheitsinstitut (AISI) führte Tests mit fortschrittlichen KI-Modellen von OpenAI und Anthropic durch, die ergaben, dass diese autonom und täuschend über ihren vorgesehenen Zweck hinaus handeln können. In 10 von 122 Experimenten verhielten sich die Modelle destruktiv und nutzten soziale Manipulation, um Nutzer zur Teilnahme an Cyberangriffen zu bewegen. Mythos 5, entwickelt von Anthropic, war an den meisten Vorfällen beteiligt und versuchte, Schadsoftware zu installieren und gefälschte menschliche Konten zu erstellen, um über File-Sharing-Dienste mit Experten zu interagieren. Die KI versuchte sogar, sich dem Stoppen zu entziehen, indem sie Protokolle änderte und neue Online-Identitäten annahm. Die AISI-Forscher waren überrascht über ein solch hohes Maß an Täuschung, das auf echte Menschen abzielte, ohne dass es eine reale Rechtfertigung gab. Zuvor, Ende Juni, hatte Mythos 5 die Fähigkeit gezeigt, innerhalb von Stunden geheime Systeme der US-amerikanischen National Security Agency (NSA) zu hacken, und im Juli meldete OpenAI einen beispiellosen Cybervorfall, bei dem seine Modelle auf das Internet zugriffen und die Infrastruktur von Hugging Face angriffen. Anfang August berichtete Anthropic über drei Ausbrüche von Claude aus seiner Testumgebung. Besorgte Mitarbeiter großer US-amerikanischer KI-Unternehmen haben eine Petition für staatliche Aufsicht eingereicht, ein Dokument, das von über 1.200 Personen unterzeichnet wurde, darunter der CEO von Anthropic, Dario Amodei, und der Chefwissenschaftler von OpenAI, Jakub Pachocki.