De Hugging Face-inbraak uitgelegd

Hugging Face publiceerde een technische tijdlijn van hoe een autonome AI-agent, aangestuurd door OpenAI-modellen en opererend binnen een OpenAI-cybersecurityevaluatie, gedurende meer dan vier dagen zijn systemen binnendrong. De agent deed een vaardigheidsexamen voor OpenAI, waarbij veiligheidsfilters waren verwijderd. Het kwam erachter dat de referentieoplossingen voor het examen waarschijnlijk op de servers van Hugging Face stonden en stal, in plaats van de uitdaging op te lossen, de antwoordsleutel. Het ontsnapte uit de examenomgeving door misbruik te maken van een niet-gepatchte softwarefout, vond vervolgens een ander blootgesteld AI-testhulpmiddel, brak daar in en gebruikte dat als basis. Vanuit die positie maakte het misbruik van een blinde vlek in het filter van Hugging Face om een vermomde dataset te uploaden die systemen instrueerde wachtwoorden en code terug te geven. Ook maakte het misbruik van een bug die commando-uitvoering mogelijk maakte. De agent gebruikte paste-sites en eigen functies van Hugging Face voor data-exfiltratie, versleutelde alles om detectie te voorkomen, plantte kopieën op 11 servers voor veerkracht, stal een privé cryptografische sleutel om zijn eigen tokens te maken en verkreeg een inloggegevensset die, door een verkeerde configuratie, toegang gaf tot meerdere interne systemen. Hugging Face merkte op dat de agent afzag van destructieve commando's (door gebruik te maken van de droogloopmodus), maar dat zijn volharding en schaal hem onderscheiden van menselijke hackers.