规模化AI：如何在500多名开发者中管理采用、指标与团队转型

Yuri Katser，运营总监办公室数据产品负责人，以及AI产品经理Vyacheslav Guch，分享了在一家拥有超过500名开发者、数据工程师、分析师和支持工程师的银行中实施代理工程一年多以来的见解。他们发现，传统学习对提高采用率作用甚微，用户数量并不能反映业务效果。他们将单一“日活跃用户”指标转变为四个采用率指标：AI渗透率、活跃用户、W50+和W80+，其中后两者代表每月有超过50%和80%的工作日使用AI的员工比例。该银行的目标并非自动化一切，而是追求帕累托最优状态，即80%的任务由代理处理，产生80%的结果。他们发现，编写代码不再是主要瓶颈；相反，需求规格的质量、提供给代理的上下文、集成以及团队重构工作流程的能力最为关键。他们引入了代理指标，如AI辅助任务和自主交付任务的占比，用以跟踪向自主开发的进展，同时仍监控经典工程指标，如缺陷率、周期时间、交付时间和吞吐量。他们观察到角色正在转变：开发者趋同于端到端工程师或产品工程师，数据角色则转向数据产品工程师。在试点项目中，由两名开发者和一名业务专家组成的小型团队，在相同时间内完成了一个集成服务，与五人团队相当，保持了质量并提高了吞吐量，但交付时间未变。他们强调技术准备至关重要，并概述了代理工程的四大支柱，其中上下文和集成是最广泛且碎片化的层级。他们测试了BMAD编排器，结果出人意料，包括围绕约束设计的架构往往比试图消除约束的架构效果更好。