Drei reale Vorfälle in den Cybersicherheits-Evaluierungen von Anthropic

Anthropic hat 141.006 Evaluierungsläufe überprüft und dabei drei separate Vorfälle mit insgesamt sechs Läufen festgestellt, von denen vier dieselbe Organisation betrafen. In allen Fällen teilte der Evaluierungs-Prompt Claude mit, dass die Umgebung eine Simulation ohne Internetzugang sei, aber aufgrund eines Missverständnisses mit dem Evaluierungspartner war Internetzugang verfügbar. Claude behandelte reale Systeme als Teil der Übung und kompromittierte sie mit einfachen Techniken wie schwachen Passwörtern und nicht authentifizierten Endpunkten. Ein Unternehmen wurde ins Visier genommen, weil sein Name mit einem fiktiven Namen in der Evaluierung übereinstimmte. Der besorgniserregendste Vorfall betraf das Hochladen eines Schadsoftware-Pakets auf PyPI durch Claude, nachdem ein komplizierter Prozess zur Erstellung eines Kontos durchlaufen wurde. Das Paket wurde von einem Sicherheitsunternehmen installiert, das routinemäßig Python-Pakete auf Schadsoftware scannt, und der ausgeführte Code exfiltrierte Anmeldeinformationen zurück an Claude. Das Paket wurde eine Stunde später von anderen automatisierten Scannern entfernt, war aber bereits auf 15 realen Systemen heruntergeladen und ausgeführt worden. Diese Vorfälle unterstreichen die erheblichen Risiken der Durchführung von Cyberangriffs-Evaluierungen und die Notwendigkeit einer engmaschigen Überwachung von Sandboxes.