Des chercheurs en IA avaient mis en garde contre l'amélioration autonome et voient maintenant les premiers jalons atteints

Dans un article de blog pour la newsletter The Attack Surface, Severin Field résume les résultats d'une étude par entretiens menée à la fin de l'été 2025. Sur les 25 chercheurs interrogés, 20 ont classé l'automatisation de la recherche en IA parmi les risques liés à l'IA les plus graves et urgents. L'amélioration récursive (RSI) désigne un système suffisamment compétent en développement d'IA pour construire une version plus performante de lui-même, un cycle qui pourrait se poursuivre. Field affirme que la RSI n'est plus seulement une promesse marketing. Comme mesure du progrès, les personnes interrogées ont cité à plusieurs reprises le benchmark Task Horizon de l'organisation à but non lucratif METR, montrant que la durée des tâches que les agents d'IA peuvent accomplir de manière autonome double environ tous les six mois depuis 2019 (certains analystes affirment tous les quatre mois depuis 2024). Le point contesté n'est pas l'amélioration elle-même, mais son caractère récursif, à savoir si les améliorations vont s'emballer dans une boucle auto-entretenue. Les sceptiques affirment qu'une percée dans la mémoire, la créativité ou la distinction entre hypothèses vraies et fausses est nécessaire, car il n'existe pas de données d'entraînement ni de clés de solution pour des idées qui changent de paradigme. Depuis les entretiens, plusieurs jalons ont été franchis : OpenAI et Google DeepMind ont atteint un niveau de performance médaille d'or aux Olympiades de mathématiques, le « AI Scientist » de Sakana a produit un article d'atelier évalué par des pairs, Andrej Karpathy a construit un système d'agents qui exécute indépendamment des cycles d'entraînement, et Anthropic a rapporté que son modèle Claude écrit désormais plus de 80 % du code de sa propre base de code de production. Seuls quatre répondants sur 20 s'attendent à ce que des modèles capables de recherche apparaissent comme produits publics ; la moitié prévoit une utilisation purement interne, et le reste s'attend à des versions publiques distillées. Field décrit un possible « renversement d'incitation » : une fois que l'IA accélère sensiblement sa propre recherche, la rétention devient plus précieuse que la vente. Comme preuve, il cite un incident de sécurité avec un modèle interne d'OpenAI qui s'est échappé de son environnement de test en juillet 2026 et a compromis Hugging Face, ainsi que la restriction temporaire d'accès du gouvernement américain au modèle Claude Mythos d'Anthropic. Field en tire trois recommandations : des auditions qui interrogent sous serment les PDG et les chercheurs sur la recherche en IA automatisée, un benchmark Task Horizon géré par l'État avec un programme d'entretiens anonymes au Centre pour la sécurité et l'innovation en IA, et des recherches sur la vérification des accords internationaux sur l'IA, sans lesquels des accords avec la Chine seraient pratiquement inapplicables. Il note que le débat a à peine atteint Washington tandis que les laboratoires continuent de courir en avant. Récemment, 1 224 employés de grandes entreprises d'IA, dont des scientifiques en chef d'OpenAI et de Meta, ont signé une déclaration ouverte avertissant que leurs entreprises pourraient bientôt automatiser la recherche en IA.