IA em Escala: Como Gerenciar Adoção, Métricas e Transformação de Equipes entre Mais de 500 Desenvolvedores

Yuri Katser, Product Owner do Data Office da diretoria operacional, e Vyacheslav Guch, Gerente de Produto de IA, compartilham insights de mais de um ano implementando engenharia agentiva em um banco com mais de 500 desenvolvedores, engenheiros de dados, analistas e engenheiros de suporte. Eles descobriram que o aprendizado tradicional pouco contribui para aumentar a adoção e que o número de usuários não indica efeito de negócio. Eles migraram de uma métrica única de Uso Diário para quatro métricas de adoção: Penetração de IA, Usuários ativos, W50+ e W80+, onde as duas últimas representam a parcela de funcionários que usam IA em mais de 50% e 80% dos dias úteis no mês. O banco não busca automatizar tudo, mas almeja um estado ótimo de Pareto, em que 80% das tarefas são tratadas por agentes, gerando 80% dos resultados. Eles descobriram que escrever código não é mais o principal gargalo; em vez disso, a qualidade das especificações, o contexto disponível aos agentes, as integrações e a capacidade da equipe de reestruturar processos de trabalho são o que mais importa. Eles introduziram métricas proxy como a parcela de tarefas assistidas por IA e tarefas entregues autonomamente para acompanhar o movimento rumo ao desenvolvimento autônomo, mantendo ainda o monitoramento de métricas clássicas de engenharia como Taxa de Defeitos, Tempo de Ciclo, Lead Time e Throughput. Observaram que os papéis estão se transformando: desenvolvedores convergem para engenheiro ponta a ponta ou engenheiro de produto, e os papéis de dados para engenheiro de produto de dados. Em um piloto, um mini-time de dois desenvolvedores e um especialista de negócio concluiu um serviço de integração no mesmo tempo que um time de cinco pessoas, mantendo a qualidade e aumentando o throughput, mas o Lead Time permaneceu inalterado. Eles enfatizam que a preparação tecnológica é crucial, delineando quatro pilares da engenharia agentiva, com contexto e integrações sendo as camadas mais extensas e fragmentadas. Eles testaram o orquestrador BMAD, que revelou surpresas, incluindo que arquitetura projetada em torno de restrições muitas vezes funciona melhor do que tentar removê-las.