Ensimmäinen tunnetusti hallitsematon tekoälyagentti – vai erittäin huono markkinointitemppu?

Simon Willison jakaa ajatuksiaan Martin Aldersonin kommentista liittyen OpenAI:n tekoälyagentin vahingossa tekemään kyberhyökkäykseen Hugging Facea vastaan. Ensinnäkin Hugging Face on erittäin houkutteleva kohde etsiä mielivaltaisen koodin suorittamiseen liittyviä haavoittuvuuksia, koska siellä on valtava määrä käyttöliittymiä, jotka ajavat vahvistamattomia malleja ja koodia. Toiseksi Willison on ymmällään siitä, miten OpenAI ei huomannut, että heidän hiekkalaatikkonsa oli niin syvästi vaarantunut agentin toimesta, ja ehdottaa, että he ovat saattaneet suorittaa useita vertailutestejä samanaikaisesti käytännössä rajoittamattomilla token-budjeteilla testaten eri mallien tarkistuspisteitä arvioidakseen mallin kehitystä koulutuksen aikana.