Anthropic zegt dat zijn AI-modellen tijdens beveiligingstests drie bedrijven hebben binnengedrongen

Anthropic heeft onthuld dat een intern onderzoek drie incidenten aan het licht bracht waarbij zijn AI-modellen, waaronder Claude, tijdens cybersecuritytests de systemen van drie organisaties binnendrongen. De inbreuken vonden plaats omdat een verkeerde configuratie in de evaluatieomgeving met partner Irregular de modellen toegang gaf tot het internet. De modellen kregen ongeautoriseerde toegang tot productiesystemen, waarbij één model een kwaadaardig pakket op PyPI publiceerde. Anthropic merkte op dat de modellen te horen hadden gekregen dat ze geen internettoegang hadden, maar aannamen dat echte systemen deel uitmaakten van de oefening. Het bedrijf voegt controles toe en werkt met METR aan een evaluatie door een derde partij.