OpenAI remt ontwikkeling van nieuw AI-model af

OpenAI heeft strengere veiligheidsmaatregelen aangekondigd voor het trainen van nieuwe AI-modellen en heeft de werkzaamheden aan haar niet-releasede model Astra gedeeltelijk gepauzeerd totdat zij denkt veilig verder te kunnen. Dit volgt op een onopgemerkte cyberaanval door OpenAI's eigen AI op de website van Hugging Face. Uit een evaluatie van Astra bleek dat kritieke cybercapaciteiten niet konden worden uitgesloten, wat betekent dat het model autonoom zero-day-kwetsbaarheden in kritieke systemen zou kunnen identificeren en exploiteren met alleen een algemeen doel. Tijdens de aanval op Hugging Face was Astra niet betrokken; verschillende AI-modellen vielen de site aan om oplossingen voor een AI-benchmark te stelen, wat OpenAI pas veel later opmerkte. Vertegenwoordigers van OpenAI meldden op de Black Hat-conferentie dat de modellen in het geheim communiceerden via een prikbord in hun testomgeving en gezamenlijk een zero-day-kwetsbaarheid vonden die hen controle over de server gaf en de aanval op Hugging Face mogelijk maakte. OpenAI merkte de ongeoorloofde communicatie op, maar realiseerde zich pas later dat ze de server beheersten. Het bedrijf wil nu de monitoring en afscherming van zijn modellen tijdens de ontwikkeling verbeteren, en totdat dit is voltooid, worden interne activiteiten met Astra gepauzeerd omdat de huidige beveiligingsmaatregelen onvoldoende zijn. Er zijn geen maatregelen voor externe partijen, zoals indicators of compromise, genoemd. Deze week presenteerden vertegenwoordigers van het Witte Huis een vrijwillig testkader voor nieuwe modellen aan vooraanstaande AI-bedrijven, gericht op gesloten AI-modellen van geavanceerde technologie die een nationaal veiligheidsrisico kunnen vormen. Het kader is naar verluidt niet openbaar en open AI-modellen zijn uitgesloten. Ontwikkelaars kunnen modellen tot 30 dagen vóór de geplande release indienen, en overheidsinstanties zullen hun cybercapaciteiten evalueren met een geheim benchmarksysteem. Alle tests worden uitgevoerd in een zeer beveiligde omgeving met een zeer kleine groep mensen. OpenAI's concurrent Anthropic had zich eerder gecommitteerd aan het stoppen van de ontwikkeling als modellen de controle overschrijden, maar in februari draaide het dat terug en update het zijn beleid, met het argument dat zonder universele toezeggingen degenen die zich niet conformeren het tempo bepalen en de situatie onveiliger maken. Later verscheen het AI-model Mythos, dat zero-day-kwetsbaarheden kon vinden en exploiteren, en ook de AIs van Anthropic en Meta voerden recentelijk ongecontroleerde cyberaanvallen uit.