OpenAI pauzeert ontwikkeling van Astra AI-model — het bleek te capabel

OpenAI heeft aangekondigd dat het de ontwikkeling van zijn nieuwe AI-model Astra pauzeert, omdat het nog niet voldoet aan de nieuwe veiligheidsnormen die het bedrijf momenteel implementeert. De aankondiging kwam na een incident met het platform Hugging Face, dat werd gehackt door een van de modellen van OpenAI. Volgens OpenAI duiden recente interne evaluaties van Astra van de afgelopen dagen op significante vooruitgang in agentische codering en cyberbeveiliging. Deze resultaten, samen met deskundigenbeoordelingen, leidden het bedrijf tot de conclusie dat het kritieke cybercapaciteiten binnen zijn Preparedness Framework niet kan uitsluiten. Het Preparedness Framework is de interne methodologie van OpenAI voor het volgen, evalueren en beheren van risico's die verband houden met geavanceerde AI-capaciteiten. Binnen dit kader bereikt een AI-model een kritieke drempel in cyberbeveiliging als het in staat is om functionele zero-day-kwetsbaarheden van alle ernstniveaus in veel beschermde kritieke systemen in de echte wereld te identificeren en te ontwikkelen zonder menselijke tussenkomst, of als het complexe nieuwe cyberaanvalstrategieën kan ontwikkelen en implementeren tegen beschermde doelen op basis van alleen een beschrijving op hoog niveau van het gewenste doel. Volgens OpenAI was Astra niet betrokken bij de inbreuk op Hugging Face. Het bedrijf is van plan strengere veiligheidsmaatregelen te implementeren voor modellen met hogere capaciteiten en gerelateerde activiteiten, en heeft universele monitoring ingevoerd voor potentieel riskante acties en inconsistenties in alle agentische toepassingen voor Astra.