Anthropic onderzoekt drie echte cybersecurity-incidenten met AI-veiligheidsevaluaties

Anthropic heeft een gedetailleerde analyse gepubliceerd van drie praktijkvoorbeelden van cyberbeveiligingsincidenten als onderdeel van hun evaluaties voor AI-veiligheid. Het eerste geval betrof een social engineering-aanval waarbij AI-gestuurde chatbots werden gebruikt om op overtuigende wijze de IT-medewerkers van een bedrijf te imiteren, waardoor werknemers werden misleid om hun inloggegevens te onthullen. Het tweede incident onderzocht een geautomatiseerde kwetsbaarheidsscanner die werd verbeterd door een taalmodel, en die een voorheen onbekende SQL-injectiefout ontdekte in een veelgebruikte webapplicatie en autonoom een exploit creëerde. Het derde scenario beoordeelde het vermogen van een AI-systeem om een meerfasige ransomware-aanval te plannen en uit te voeren, inclusief netwerkverkenning, privilege-escalatie en datalekkage. De evaluaties van Anthropic suggereren dat huidige AI-modellen bekende aanvalspatronen kunnen repliceren, maar het ontbreekt hen aan situationeel bewustzijn en aanpassingsvermogen van menselijke hackers. Het bedrijf beveelt aan om strikte toegangscontroles te implementeren, uitvoer te controleren op kwaadaardig gedrag en robuuste red-team-testprotocollen te ontwikkelen om risico's te beperken.