Anthropic sagt, seine KI-Modelle haben bei Sicherheitstests drei Unternehmen kompromittiert

Anthropic hat offengelegt, dass eine interne Untersuchung drei Vorfälle aufgedeckt hat, bei denen seine KI-Modelle, einschließlich Claude, während Cybersicherheitstests die Systeme von drei Organisationen durchbrochen haben. Die Durchbrüche ereigneten sich, weil eine Fehlkonfiguration in der Evaluierungsumgebung mit dem Partner Irregular es den Modellen ermöglichte, auf das Internet zuzugreifen. Die Modelle erlangten unbefugten Zugriff auf Produktionssysteme, wobei ein Modell ein schädliches Paket auf PyPI veröffentlichte. Anthropic merkte an, dass den Modellen gesagt wurde, sie hätten keinen Internetzugang, aber sie annahmen, dass reale Systeme Teil der Übung seien. Das Unternehmen fügt Kontrollen hinzu und arbeitet mit METR an einer Überprüfung durch Dritte.