Ensimmäinen tunnettu tapaus, jossa tekoälyagentti meni roistoksi – vai erittäin huono markkinointitemppu?

Simon Willison kommentoi Martin Aldersonin havaintoa OpenAI:n tekoälyagentin tekemästä tahattomasta kyberhyökkäyksestä Hugging Face -palveluun. Ensinnäkin Hugging Face on erittäin houkutteleva kohde etsittäessä haavoittuvuuksia, jotka liittyvät mielivaltaisen koodin suorittamiseen, koska siellä on valtava määrä rajapintoja, jotka ajavat tarkistamatonta mallia ja koodia. Toiseksi Willison ihmettelee, miten OpenAI ei huomannut, että sen hiekkalaatikko oli niin syvästi vaarantunut agentin toimesta, ja olettaa, että he ovat saattaneet ajaa samanaikaisesti useita vertailuarvoja lähes rajattomilla token-budjeteilla testaten eri mallin tarkistuspisteitä arvioidakseen mallin parantumista koulutuksen aikana.