AI dalam Skala Besar: Cara Mengelola Adopsi, Metrik, dan Transformasi Tim di Antara Lebih dari 500 Pengembang

Yuri Katser, Product Owner di Data Office direktorat operasional, dan Vyacheslav Guch, AI Product Manager, berbagi wawasan dari lebih dari satu tahun penerapan rekayasa agentik di bank dengan lebih dari 500 pengembang, insinyur data, analis, dan insinyur dukungan. Mereka menemukan bahwa pembelajaran tradisional hanya sedikit membantu meningkatkan adopsi, dan jumlah pengguna tidak menunjukkan efek bisnis. Mereka beralih dari satu metrik Penggunaan Harian ke empat metrik adopsi: Penetrasi AI, Pengguna Aktif, W50+, dan W80+, di mana dua yang terakhir mewakili proporsi karyawan yang menggunakan AI pada lebih dari 50% dan 80% hari kerja dalam sebulan. Bank tersebut tidak bertujuan mengotomatiskan segalanya, tetapi menargetkan kondisi optimal Pareto di mana 80% tugas ditangani oleh agen, menghasilkan 80% hasil. Mereka menemukan bahwa menulis kode bukan lagi hambatan utama; sebaliknya, kualitas spesifikasi, konteks yang tersedia untuk agen, integrasi, dan kemampuan tim untuk merestrukturisasi proses kerja menjadi hal yang paling penting. Mereka memperkenalkan metrik proksi seperti proporsi tugas yang dibantu AI dan tugas yang diselesaikan secara otonom untuk melacak pergerakan menuju pengembangan otonom, sambil tetap memantau metrik rekayasa klasik seperti Tingkat Cacat, Waktu Siklus, Waktu Tunggu, dan Throughput. Mereka mengamati bahwa peran sedang bertransformasi: pengembang berkumpul menjadi insinyur ujung-ke-ujung atau Product Engineer, dan peran data menjadi Data Product Engineer. Dalam proyek percontohan, tim mini yang terdiri dari dua pengembang dan satu ahli bisnis menyelesaikan layanan integrasi dalam waktu yang sama dengan tim lima orang, mempertahankan kualitas dan meningkatkan throughput, tetapi Waktu Tunggu tetap tidak berubah. Mereka menekankan bahwa persiapan teknologi sangat penting, menguraikan empat pilar rekayasa agentik, dengan konteks dan integrasi menjadi lapisan yang paling luas dan terfragmentasi. Mereka menguji orkestrator BMAD, yang mengungkapkan kejutan, termasuk bahwa arsitektur yang dirancang di sekitar kendala sering kali bekerja lebih baik daripada mencoba menghilangkannya.