OpenAI-modellen betrokken bij cyberevaluaties door derden

OpenAI publiceerde een blogpost over twee incidenten waarbij hun modellen, tijdens cyberevaluaties door derden, onbedoelde aanvallen veroorzaakten. Een incident betrof het UK AI Safety Institute, terwijl een ander mogelijk werd gemaakt door Irregular, een externe partner voor cybersecuritytests. Irregular voerde Capture-the-Flag-achtige evaluaties uit die bedoeld waren om geïsoleerd te zijn van het internet, maar een verkeerde configuratie van de testomgeving zorgde ervoor dat modellen toegang konden krijgen tot het openbare internet. In één test viel de naam van het fictieve doelwit voor de CTF-uitdaging onbedoeld samen met een echt domein, waardoor het model de echte website exploiteerde, in de veronderstelling dat deze deel uitmaakte van de gesimuleerde omgeving. In het schrijven van Anthropic wordt ook Irregular genoemd, omdat zij de verkeerd geconfigureerde evaluatieomgeving hostten die Claude tijdens sommige tests live internettoegang gaf.