IA a Escala: Cómo Gestionar la Adopción, las Métricas y la Transformación de Equipos entre Más de 500 Desarrolladores

Yuri Katser, Product Owner de la Data Office de la dirección operativa, y Vyacheslav Guch, AI Product Manager, comparten las lecciones aprendidas tras más de un año implementando ingeniería agéntica en un banco con más de 500 desarrolladores, ingenieros de datos, analistas e ingenieros de soporte. Descubrieron que el aprendizaje tradicional hace poco para aumentar la adopción, y que el número de usuarios no indica el efecto en el negocio. Pasaron de una única métrica de uso diario a cuatro métricas de adopción: penetración de IA, usuarios activos, W50+ y W80+, donde las dos últimas representan el porcentaje de empleados que usan IA en más del 50% y el 80% de los días laborables del mes. El banco no busca automatizarlo todo, sino alcanzar un estado óptimo de Pareto en el que los agentes gestionen el 80% de las tareas y produzcan el 80% de los resultados. Encontraron que escribir código ya no es el principal cuello de botella; en cambio, la calidad de las especificaciones, el contexto disponible para los agentes, las integraciones y la capacidad del equipo para reestructurar los procesos de trabajo son lo que más importa. Introdujeron métricas proxy como el porcentaje de tareas asistidas por IA y de tareas entregadas de forma autónoma para seguir el avance hacia el desarrollo autónomo, sin dejar de vigilar métricas clásicas de ingeniería como la tasa de defectos, el tiempo de ciclo, el tiempo de entrega y el rendimiento. Observaron que los roles se están transformando: los desarrolladores convergen hacia el ingeniero de extremo a extremo o ingeniero de producto, y los roles de datos hacia el ingeniero de producto de datos. En un piloto, un miniequipo de dos desarrolladores y un experto de negocio completó un servicio de integración en el mismo tiempo que un equipo de cinco personas, manteniendo la calidad y aumentando el rendimiento, aunque el tiempo de entrega no cambió. Enfatizan que la preparación tecnológica es crucial, y delinean cuatro pilares de la ingeniería agéntica, siendo el contexto y las integraciones las capas más extensas y fragmentadas. Probaron el orquestador BMAD, que reveló sorpresas, entre ellas que la arquitectura diseñada en torno a restricciones a menudo funciona mejor que intentar eliminarlas.