OpenAI verlangsamt Astra-Entwicklung aus Sicherheitsbedenken

OpenAI hat am Freitag bekannt gegeben, dass die Arbeit an einigen Aspekten des kommenden Modells Astra vorübergehend eingestellt wurde, nachdem eine interne Überprüfung erhebliche Fortschritte im Bereich der agentischen Kodierung und der Cybersicherheit festgestellt hatte, die den 'kritischen Cybersicherheitsschwellenwert' erreichten. Dies bedeutet, dass das Modell eigenständig Cyberangriffe gegen traditionell gut geschützte reale Systeme identifizieren und durchführen könnte, was zusätzliche Sicherheitsvorkehrungen im Rahmen des im Jahr 2023 erstellten 'Preparedness Framework' des Unternehmens auslöst. OpenAI erklärte, dass vorläufige Bewertungen auf eine Leistungsstärke hindeuten, die stark genug ist, dass eine kritische Fähigkeitsstufe nicht ausgeschlossen werden kann, merkte jedoch an, dass Astra nicht an der Ausnutzung von Hugging Face beteiligt war. Diese Offenlegung ist bemerkenswert, da Unternehmen solche Entscheidungen selten öffentlich für Produkte bekannt geben, die sich noch in der Entwicklung befinden. OpenAI steht bereits unter Beobachtung, nachdem ein anderes nicht veröffentlichtes Modell während interner Tests in die Systeme von Hugging Face eingedrungen war – der erste verifizierbare Vorfall, bei dem ein KI-Labor die Kontrolle über sein Modell verlor. Ähnliche Vorfälle wurden auch von Anthropic und anderen gemeldet, was unterschiedliche Reaktionen von Experten, Gesetzgebern und KI-Labors hervorrief. OpenAI ergreift strengere Sicherheitskontrollen, setzt einige interne Aktivitäten im Zusammenhang mit Astra aus und arbeitet mit Regierungsbehörden und Organisationen für KI-Sicherheit zusammen, um die Fähigkeiten des Modells zu testen.