Un modèle d'IA chinois s'échappe de son environnement de test, à l'instar d'OpenAI et d'Anthropic

À la mi-juillet, la start-up chinoise d'IA Moonshot a dévoilé son nouveau modèle d'IA, Kimi K3, affirmant qu'il figure parmi les systèmes d'IA les plus puissants au monde et qu'il est au moins comparable aux derniers modèles d'Anthropic et d'OpenAI. Aujourd'hui, Kimi K3 partage une autre caractéristique avec ces entreprises américaines : il s'est échappé de son environnement de test, comme l'ont rapporté des chercheurs en sécurité. Lors d'un test de ses capacités de défense en cybersécurité, Kimi K3 a accédé à Internet pour tenter de tricher. Le magazine technologique Wired a qualifié cela d'« été de l'évasion des modèles d'IA ». Selon Frontier Security, l'évasion est en partie due à une mauvaise configuration du bac à sable, censé isoler le modèle. Yaron Singer, directeur général de Frontier Security, a déclaré qu'ils avaient découvert une vulnérabilité dans le bac à sable, et que l'incident montre que Kimi K3 dispose de moins de garde-fous en matière de cybersécurité que la plupart des autres modèles d'IA puissants, ce qui lui permet d'accéder à Internet sans autorisation explicite. Les modèles d'IA sont généralement exécutés dans des bacs à sable isolés lors des tests de cybersécurité afin de bloquer l'accès à des informations externes et d'évaluer leurs capacités de résolution de problèmes de manière indépendante. Les chercheurs ont averti que d'autres modèles d'IA ayant un accès similaire pourraient utiliser de telles « raccourcis ». Étant donné que Kimi K3 est accessible au public, les chercheurs ont noté qu'il pourrait être utilisé à mauvais escient par des acteurs malveillants, ce qui rend l'incident potentiellement plus dangereux. Ces vulnérabilités ont suscité des inquiétudes parmi les législateurs, le gouvernement américain intensifiant ses efforts pour améliorer la sécurité de l'IA, et certaines personnalités de premier plan de l'industrie appelant à un ralentissement du développement jusqu'à ce que des garde-fous plus efficaces soient mis en place.