OpenAI pausiert Entwicklung des Astra-KI-Modells – es erwies sich als zu fähig

OpenAI hat bekannt gegeben, die Entwicklung seines neuen KI-Modells Astra vorerst zu stoppen, da es die neuen Sicherheitsstandards, die das Unternehmen derzeit einführt, noch nicht erfüllt. Diese Ankündigung erfolgte nach einem Vorfall mit der Plattform Hugging Face, die von einem der Modelle von OpenAI gehackt wurde. Laut OpenAI deuten die jüngsten internen Bewertungen von Astra in den letzten Tagen auf erhebliche Fortschritte beim agentischen Programmieren und in der Cybersicherheit hin. Diese Ergebnisse zusammen mit Experteneinschätzungen haben das Unternehmen zu dem Schluss geführt, dass es kritische Cyberfähigkeiten im Rahmen seines Preparedness Frameworks nicht ausschließen kann. Das Preparedness Framework ist die interne Methodik von OpenAI zur Verfolgung, Bewertung und Steuerung von Risiken, die mit fortschrittlichen KI-Fähigkeiten verbunden sind. Unter diesem Rahmen erreicht ein KI-Modell einen kritischen Schwellenwert in der Cybersicherheit, wenn es ohne menschliches Eingreifen funktionale Zero-Day-Schwachstellen aller Schweregrade in vielen geschützten realen kritischen Systemen identifizieren und entwickeln kann oder komplexe neue Cyberangriffsstrategien gegen geschützte Ziele entwickeln und umsetzen kann, wenn nur eine übergeordnete Beschreibung des gewünschten Ziels vorliegt. Laut OpenAI war Astra nicht an dem Sicherheitsvorfall bei Hugging Face beteiligt. Das Unternehmen plant, strengere Sicherheitsmaßnahmen für Modelle mit höheren Fähigkeiten und damit zusammenhängende Aktivitäten einzuführen und hat eine umfassende Überwachung potenziell riskanter Aktionen und Inkonsistenzen in allen agentischen Anwendungen für Astra eingeführt.