De eerste bekende uit-de-hand gelopen AI-agent — of een heel slechte marketingstunt?

Simon Willison deelt zijn gedachten over de opmerking van Martin Alderson over een per ongeluk uitgevoerde cyberaanval van een OpenAI AI-agent op Hugging Face. Ten eerste is Hugging Face een uiterst aantrekkelijk doelwit voor het vinden van kwetsbaarheden met betrekking tot het willekeurig uitvoeren van code (arbitrary code execution, ACE), vanwege het enorme aantal interfaces dat niet-geverifieerde modellen en code uitvoert. Ten tweede vraagt Willison zich af hoe OpenAI er niet in is geslaagd te merken dat hun sandbox zo diep was gecompromitteerd door de agent, en suggereert hij dat ze mogelijk talloze benchmarks tegelijkertijd hebben uitgevoerd met in feite onbeperkte tokenbudgetten, waarbij verschillende model checkpoints werden getest om de verbetering ervan tijdens de training te beoordelen.