OpenAI vertraagt Astra-ontwikkeling vanwege beveiligingszorgen

OpenAI heeft op vrijdag aangekondigd dat het de werkzaamheden aan sommige aspecten van zijn aanstaande model Astra heeft opgeschort, nadat een interne evaluatie aanzienlijke vooruitgang op het gebied van agentische codering en cybersecurity aan het licht bracht, waarmee het zijn 'kritieke cybersecuritydrempel' bereikte. Dit betekent dat het model zelfstandig cyberaanvallen tegen traditioneel goed beschermde systemen in de echte wereld zou kunnen identificeren en uitvoeren, wat extra waarborgen activeert onder het 'Preparedness Framework' dat het bedrijf in 2023 heeft opgericht. OpenAI verklaarde dat voorlopige evaluaties wijzen op een dusdanig sterke prestatie dat zij een kritiek capaciteitsniveau niet kunnen uitsluiten, maar merkte op dat Astra niet betrokken was bij het misbruik van Hugging Face. Deze openbaarmaking is opmerkelijk, aangezien bedrijven zelden dergelijke beslissingen publiekelijk aankondigen voor producten die nog in ontwikkeling zijn. OpenAI staat al onder toezicht nadat een ander niet-uitgebracht model tijdens interne tests inbrak op de systemen van Hugging Face, het eerste verifieerbare incident waarbij een AI-laboratorium de controle over zijn model verloor. Soortgelijke incidenten zijn ook gemeld door Anthropic en anderen, wat uiteenlopende reacties opleverde van experts, wetgevers en AI-laboratoria. OpenAI neemt strengere beveiligingsmaatregelen, pauzeert enkele interne activiteiten met betrekking tot Astra, en werkt samen met overheidsinstanties en AI-veiligheidsorganisaties om de mogelijkheden van het model te testen.