Ölçekte Yapay Zekâ: 500'den Fazla Geliştirici Arasında Benimseme, Metrikler ve Ekip Dönüşümünü Yönetme

Data Office operasyonel müdürlüğünün ürün sahibi Yuri Katser ve yapay zeka ürün yöneticisi Vyacheslav Guch, 500'den fazla geliştirici, veri mühendisi, analist ve destek mühendisi bulunan bir bankada bir yılı aşkın bir süredir uygulanan ajan mühendisliği deneyimlerini paylaşıyor. Geleneksel eğitimin benimsenmeyi artırmada çok az işe yaradığını ve kullanıcı sayısının iş etkisini göstermediğini keşfettiler. Tek bir Günlük Kullanım metriğinden dört benimseme metriğine geçtiler: Yapay zeka penetrasyonu, Aktif kullanıcılar, W50+ ve W80+. Son ikisi, bir ayda çalışma günlerinin %50'sinden fazlasında ve %80'inden fazlasında yapay zeka kullanan çalışanların oranını temsil ediyor. Banka her şeyi otomatikleştirmeyi hedeflemiyor; görevlerin %80'inin ajanlar tarafından yürütüldüğü ve sonuçların %80'inin elde edildiği Pareto-optimal bir durumu hedefliyor. Kod yazmanın artık ana darboğaz olmadığını; bunun yerine spesifikasyon kalitesinin, ajanlara sunulan bağlamın, entegrasyonların ve ekibin iş süreçlerini yeniden yapılandırma becerisinin en önemli olduğunu buldular. Otonom geliştirmeye doğru ilerlemeyi izlemek için yapay zeka destekli görevlerin payı ve otonom olarak teslim edilen görevler gibi vekil metrikler getirdiler; ancak Hata Oranı, Çevrim Süresi, Teslim Süresi ve Verim gibi klasik mühendislik metriklerini izlemeye devam ettiler. Rollerin dönüştüğünü gözlemlediler: geliştiriciler uçtan uca mühendis veya Ürün Mühendisi rolüne, veri rolleri ise Veri Ürün Mühendisi rolüne yakınsıyor. Bir pilot çalışmada, iki geliştirici ve bir iş uzmanından oluşan mini bir ekip, beş kişilik bir ekiple aynı sürede bir entegrasyon hizmeti tamamladı; kalite korundu ve verim arttı, ancak Teslim Süresi değişmedi. Teknoloji hazırlığının kritik olduğunu vurguluyorlar ve dört ajan mühendisliği ayağını ana hatlarıyla belirtiyorlar; bağlam ve entegrasyonlar en kapsamlı ve parçalı katmanlar olarak öne çıkıyor. Test ettikleri BMAD orkestratörü, kısıtlamalar etrafında tasarlanan mimarinin genellikle onları kaldırmaya çalışmaktan daha iyi çalıştığı da dahil olmak üzere sürprizler ortaya çıkardı.