AI ở quy mô lớn: Cách quản lý việc áp dụng, các chỉ số và chuyển đổi đội ngũ trong số hơn 500 nhà phát triển

Yuri Katser, Product Owner tại Data Office của ban điều hành, và Vyacheslav Guch, Giám đốc sản phẩm AI, chia sẻ những hiểu biết từ hơn một năm triển khai kỹ thuật agentic tại một ngân hàng với hơn 500 lập trình viên, kỹ sư dữ liệu, nhà phân tích và kỹ sư hỗ trợ. Họ phát hiện ra rằng đào tạo truyền thống ít có tác dụng trong việc tăng cường áp dụng, và số lượng người dùng không phản ánh hiệu quả kinh doanh. Họ đã chuyển từ một chỉ số Sử dụng hàng ngày duy nhất sang bốn chỉ số áp dụng: Tỷ lệ thâm nhập AI, Người dùng hoạt động, W50+ và W80+, trong đó hai chỉ số cuối đại diện cho tỷ lệ nhân viên sử dụng AI trên 50% và 80% số ngày làm việc trong một tháng. Ngân hàng không đặt mục tiêu tự động hóa mọi thứ mà hướng tới trạng thái tối ưu Pareto, nơi 80% nhiệm vụ được xử lý bởi các agent, mang lại 80% kết quả. Họ nhận thấy rằng viết mã không còn là điểm nghẽn chính; thay vào đó, chất lượng đặc tả, bối cảnh có sẵn cho các agent, tích hợp và khả năng tái cấu trúc quy trình làm việc của nhóm là những yếu tố quan trọng nhất. Họ đã giới thiệu các chỉ số thay thế như tỷ lệ nhiệm vụ được hỗ trợ bởi AI và nhiệm vụ được giao hoàn toàn tự động để theo dõi tiến trình hướng tới phát triển tự động, đồng thời vẫn theo dõi các chỉ số kỹ thuật cổ điển như Tỷ lệ lỗi, Thời gian chu kỳ, Thời gian dẫn và Thông lượng. Họ quan sát thấy rằng vai trò đang chuyển đổi: lập trình viên hội tụ thành kỹ sư end-to-end hoặc Kỹ sư sản phẩm, và vai trò dữ liệu thành Kỹ sư sản phẩm dữ liệu. Trong một thử nghiệm, một nhóm nhỏ gồm hai lập trình viên và một chuyên gia kinh doanh đã hoàn thành một dịch vụ tích hợp trong cùng thời gian với một nhóm năm người, duy trì chất lượng và tăng thông lượng, nhưng Thời gian dẫn không thay đổi. Họ nhấn mạnh rằng chuẩn bị công nghệ là rất quan trọng, phác thảo bốn trụ cột của kỹ thuật agentic, trong đó bối cảnh và tích hợp là các lớp rộng lớn và phân mảnh nhất. Họ đã thử nghiệm bộ điều phối BMAD, điều này tiết lộ những bất ngờ, bao gồm việc kiến trúc được thiết kế xung quanh các ràng buộc thường hoạt động tốt hơn so với cố gắng loại bỏ chúng.