AI op schaal: hoe je adoptie, metrieken en teamtransformatie beheert onder meer dan 500 ontwikkelaars

Yuri Katser, product owner van het Data Office van de operationele directie, en Vyacheslav Guch, AI-productmanager, delen inzichten uit meer dan een jaar ervaring met het implementeren van agentische engineering in een bank met meer dan 500 ontwikkelaars, data-engineers, analisten en support-engineers. Ze ontdekten dat traditioneel leren weinig bijdraagt aan de adoptie, en dat het aantal gebruikers geen indicatie is van het zakelijke effect. Ze schakelden over van één dagelijkse gebruikersmetriek naar vier adoptiemetingen: AI-penetratie, actieve gebruikers, W50+ en W80+, waarbij de laatste twee het aandeel werknemers vertegenwoordigen dat AI op meer dan 50% en 80% van de werkdagen in een maand gebruikt. De bank streeft er niet naar om alles te automatiseren, maar richt zich op een Pareto-optimale staat waarin 80% van de taken door agents wordt afgehandeld, wat 80% van de resultaten oplevert. Ze ontdekten dat het schrijven van code niet langer de belangrijkste bottleneck is; in plaats daarvan zijn de kwaliteit van specificaties, de context die beschikbaar is voor agents, integraties en het vermogen van het team om werkprocessen te herstructureren het belangrijkst. Ze introduceerden proxy-meetwaarden zoals het aandeel AI-ondersteunde taken en autonoom uitgevoerde taken om de voortgang richting autonome ontwikkeling te volgen, terwijl ze nog steeds klassieke engineeringmetrieken monitoren zoals defectpercentage, cyclustijd, doorlooptijd en doorvoer. Ze observeerden dat rollen transformeren: ontwikkelaars convergeren naar end-to-end engineer of product engineer, en data-rollen naar data product engineer. In een pilot voltooide een miniteam van twee ontwikkelaars en een zakelijk expert een integratieservice in dezelfde tijd als een team van vijf personen, met behoud van kwaliteit en verhoogde doorvoer, maar de doorlooptijd bleef ongewijzigd. Ze benadrukken dat technologische voorbereiding cruciaal is, en schetsen vier pijlers van agentische engineering, waarbij context en integraties de meest uitgebreide en versnipperde lagen vormen. Ze testten de BMAD-orchestrator, wat verrassingen opleverde, waaronder dat architectuur die rond beperkingen is ontworpen vaak beter werkt dan proberen ze weg te nemen.