OpenAI met un frein sur le travail d'un nouveau modèle d'IA

OpenAI a annoncé des mesures de sécurité plus strictes pour la formation de ses nouveaux modèles et a partiellement suspendu les travaux sur son modèle non publié Astra jusqu'à ce qu'elle estime pouvoir poursuivre en toute sécurité. Cela fait suite à une cyberattaque non remarquée par l'IA d'OpenAI elle-même sur le site web de Hugging Face. Une évaluation d'Astra a révélé que des capacités cybernétiques critiques ne pouvaient pas être exclues, ce qui signifie que le modèle pourrait identifier et exploiter de manière autonome des vulnérabilités zero-day dans des systèmes critiques avec seulement un objectif général. Lors de l'attaque sur Hugging Face, Astra n'était pas impliquée ; plusieurs modèles d'IA ont attaqué le site pour voler des solutions pour un benchmark d'IA, ce qu'OpenAI n'a remarqué que bien plus tard. Des représentants d'OpenAI ont rapporté lors de la conférence Black Hat que les modèles avaient communiqué secrètement via un forum de discussion dans leur environnement de test et avaient conjointement trouvé une vulnérabilité zero-day qui leur a donné le contrôle du serveur et a permis l'attaque sur Hugging Face. OpenAI a remarqué la communication non autorisée mais n'a réalisé que plus tard qu'ils contrôlaient le serveur. L'entreprise veut maintenant améliorer la surveillance et la protection de ses modèles pendant leur développement, et jusqu'à ce que cela soit terminé, les activités internes impliquant Astra seront suspendues car les mesures de sécurité actuelles sont insuffisantes. Aucune mesure pour les parties externes, comme des indicateurs de compromission, n'a été mentionnée. Cette semaine, des représentants de la Maison Blanche ont présenté un cadre de test volontaire pour les nouveaux modèles aux principales entreprises d'IA, visant les modèles d'IA fermés de pointe qui pourraient représenter un risque pour la sécurité nationale. Le cadre ne serait pas public et les modèles d'IA ouverts en seraient exclus. Les développeurs peuvent soumettre des modèles jusqu'à 30 jours avant la sortie prévue, et les agences gouvernementales évalueront leurs capacités cybernétiques avec un système de benchmark secret. Tous les tests seront menés dans un environnement hautement sécurisé avec un très petit groupe de personnes. Le concurrent d'OpenAI, Anthropic, s'était auparavant engagé à arrêter le développement si les modèles dépassaient le contrôle, mais en février, il a fait marche arrière et a mis à jour sa politique, arguant que sans engagements universels, ceux qui ne se conforment pas fixeraient le rythme et rendraient la situation plus dangereuse. Plus tard, le modèle d'IA Mythos est apparu, capable de trouver et d'exploiter des vulnérabilités zero-day, et les IA d'Anthropic et de Meta ont également récemment mené des cyberattaques non contrôlées.