IA à grande échelle : comment gérer l’adoption, les indicateurs et la transformation des équipes chez plus de 500 développeurs

Yuri Katser, chef de produit au Data Office de la direction opérationnelle, et Vyacheslav Guch, chef de produit IA, partagent leur retour d'expérience après plus d'un an de mise en œuvre de l'ingénierie agentique dans une banque comptant plus de 500 développeurs, ingénieurs de données, analystes et ingénieurs de support. Ils ont découvert que la formation traditionnelle contribue peu à l'adoption, et que le nombre d'utilisateurs ne reflète pas l'impact métier. Ils sont passés d'une seule métrique d'utilisation quotidienne à quatre métriques d'adoption : la pénétration de l'IA, les utilisateurs actifs, W50+ et W80+, où les deux dernières représentent la part des employés utilisant l'IA plus de 50 % et plus de 80 % des jours ouvrés dans un mois. La banque ne cherche pas à tout automatiser, mais vise un état optimal au sens de Pareto, où 80 % des tâches sont traitées par des agents, produisant 80 % des résultats. Ils ont constaté que l'écriture de code n'est plus le principal goulot d'étranglement ; ce sont plutôt la qualité des spécifications, le contexte disponible pour les agents, les intégrations et la capacité de l'équipe à restructurer les processus de travail qui comptent le plus. Ils ont introduit des métriques proxy telles que la part des tâches assistées par l'IA et des tâches livrées de manière autonome pour suivre la progression vers le développement autonome, tout en continuant à surveiller les métriques d'ingénierie classiques comme le taux de défauts, le temps de cycle, le délai de livraison et le débit. Ils ont observé que les rôles se transforment : les développeurs convergent vers l'ingénieur de bout en bout ou l'ingénieur produit, et les rôles liés aux données vers l'ingénieur produit de données. Dans un pilote, une mini-équipe de deux développeurs et d'un expert métier a réalisé un service d'intégration dans le même délai qu'une équipe de cinq personnes, en maintenant la qualité et en augmentant le débit, mais le délai de livraison est resté inchangé. Ils soulignent que la préparation technologique est cruciale et décrivent quatre piliers de l'ingénierie agentique, le contexte et les intégrations étant les couches les plus étendues et les plus fragmentées. Ils ont testé l'orchestrateur BMAD, qui a révélé des surprises, notamment qu'une architecture conçue autour des contraintes fonctionne souvent mieux que celle qui cherche à les éliminer.