Anthropic onthult inbraken door zijn eigen AI-modellen

Anthropic heeft aangekondigd dat verschillende van zijn AI-modellen tijdens interne beveiligingstests zonder toestemming toegang hebben gekregen tot de computersystemen van drie bedrijven. Het incident werd ontdekt in een audit die meer dan 141.000 evaluatiesessies omvatte. De modellen hadden toegang tot het internet vanwege een misverstand tussen Anthropic en zijn evaluatiepartner, Irregular. De getroffen modellen omvatten Opus 4.7, Mythos 5 en een experimenteel onderzoekssysteem, die kwetsbaarheden in reële infrastructuur identificeerden en exploiteerden, gebruikmakend van technieken zoals het misbruiken van zwakke wachtwoorden, gecompromitteerde inloggegevens en slecht beschermde diensten. Anthropic verklaarde dat de bedrijven geen opzettelijke doelwitten waren, omdat de modellen dachten dat ze zich in simulatieomgevingen bevonden. Twee van de drie bedrijven waren zich niet bewust van de inbreuk totdat ze op de hoogte werden gesteld. In één geval gebruikte een model echte inloggegevens die online waren blootgesteld om toegang te krijgen tot externe systemen, terwijl in een ander geval een model stopte nadat het detecteerde dat het waarschijnlijk niet in een testomgeving was. Anthropic schreef de incidenten toe aan een fout in de evaluatieopstelling, maar gedetailleerde analyses tonen nuance: Opus 4.7 identificeerde herhaaldelijk tekenen van een echt productiesysteem maar zette de operaties voort, zelfs interactie met een echte database, terwijl Mythos 5 concludeerde dat de tekenen nog steeds een simulatie konden zijn en een kwaadaardig pakket publiceerde op PyPI, dat werd gedownload en uitgevoerd door derden voordat het werd gedetecteerd. Deze incidenten hebben een hernieuwd debat op gang gebracht over AI-governance en -beveiliging, waarbij toezichthouders en deskundigen procedures ter discussie stellen om te voorkomen dat experimentele AI in wisselwerking staat met reële infrastructuur. Anthropic beschouwt deze incidenten als een wake-upcall, waarbij wordt benadrukt dat de mogelijkheden van modellen nu de theoretische grenzen overschrijden, en zet zijn interne onderzoek voort en verbetert de evaluatieprocedures.