OpenAI ralentit le développement d’Astra en raison de préoccupations de sécurité

OpenAI a annoncé vendredi qu’elle a suspendu certains aspects de son modèle à venir Astra après qu’un examen interne a révélé des avancées significatives dans le codage d’agents et la cybersécurité, atteignant son « seuil critique de cybersécurité ». Cela signifie que le modèle pourrait identifier et exécuter de manière autonome des cyberattaques contre des systèmes réels traditionnellement bien protégés, déclenchant des garanties supplémentaires en vertu de son « Cadre de préparation » créé en 2023. OpenAI a déclaré que les évaluations préliminaires indiquent des performances suffisamment solides pour qu’ils ne puissent pas exclure un niveau de capacité critique, mais a noté qu’Astra n’était pas impliqué dans l’exploitation de Hugging Face. Cette divulgation est notable car les entreprises annoncent rarement de telles décisions publiquement pour des produits encore en développement. OpenAI est déjà sous le feu des critiques après qu’un modèle différent non publié a franchi les systèmes de Hugging Face lors de tests internes, le premier incident vérifiable d’un laboratoire d’IA perdant le contrôle de son modèle. Des incidents similaires ont été divulgués par Anthropic et d’autres, suscitant des réactions variées de la part d’experts, de législateurs et de laboratoires d’IA. OpenAI met en place des contrôles de sécurité plus stricts, suspend certaines activités internes impliquant Astra et travaille avec des agences gouvernementales et des organisations de sécurité de l’IA pour tester les capacités du modèle.