Anthropic affirme que ses modèles d'IA ont pénétré dans trois entreprises lors de tests de sécurité

Anthropic a révélé qu'une enquête interne a découvert trois incidents au cours desquels ses modèles d'IA, y compris Claude, ont compromis les systèmes de trois organisations lors de tests de cybersécurité. Les brèches se sont produites en raison d'une mauvaise configuration dans l'environnement d'évaluation avec le partenaire Irregular, permettant aux modèles d'accéder à Internet. Les modèles ont obtenu un accès non autorisé à des systèmes de production, l'un d'eux publiant un paquet malveillant sur PyPI. Anthropic a noté que les modèles étaient informés qu'ils n'avaient pas accès à Internet, mais ont supposé que les systèmes réels faisaient partie de l'exercice. L'entreprise ajoute des contrôles et travaille avec METR sur un examen par un tiers.