KI im großen Maßstab: So gelingt Adoption, Metriken und Team-Transformation bei über 500 Entwicklern

Yuri Katser, Product Owner im Data Office der operativen Direktion, und Vyacheslav Guch, AI-Produktmanager, teilen Erkenntnisse aus über einem Jahr Umsetzung von agentischem Engineering in einer Bank mit mehr als 500 Entwicklern, Dateningenieuren, Analysten und Support-Ingenieuren. Sie stellten fest, dass traditionelles Lernen wenig zur Steigerung der Akzeptanz beiträgt und dass die Anzahl der Nutzer keinen Geschäftseffekt anzeigt. Sie wechselten von einer einzigen Daily-Usage-Metrik zu vier Akzeptanzmetriken: AI-Penetration, aktive Nutzer, W50+ und W80+, wobei die letzten beiden den Anteil der Mitarbeiter darstellen, die AI an mehr als 50% bzw. 80% der Arbeitstage im Monat nutzen. Die Bank zielt nicht darauf ab, alles zu automatisieren, sondern strebt einen Pareto-optimalen Zustand an, in dem 80% der Aufgaben von Agenten übernommen werden und 80% der Ergebnisse erzielt werden. Sie fanden heraus, dass das Schreiben von Code nicht mehr der Hauptengpass ist; stattdessen sind die Qualität der Spezifikationen, der den Agenten zur Verfügung stehende Kontext, Integrationen und die Fähigkeit des Teams, Arbeitsprozesse neu zu strukturieren, am wichtigsten. Sie führten Proxy-Metriken wie den Anteil AI-gestützter Aufgaben und autonom gelieferter Aufgaben ein, um die Bewegung in Richtung autonomer Entwicklung zu verfolgen, während sie weiterhin klassische Engineering-Metriken wie Fehlerquote, Zykluszeit, Durchlaufzeit und Durchsatz überwachen. Sie beobachteten, dass sich Rollen transformieren: Entwickler konvergieren zu End-to-End-Engineer oder Product Engineer, und Datenrollen zu Data Product Engineer. In einem Pilotprojekt absolvierte ein Mini-Team aus zwei Entwicklern und einem Business-Experten einen Integrationsservice in der gleichen Zeit wie ein Fünf-Personen-Team, behielt die Qualität bei und erhöhte den Durchsatz, jedoch blieb die Durchlaufzeit unverändert. Sie betonen, dass die Technologievorbereitung entscheidend ist, und skizzieren vier Säulen des agentischen Engineerings, wobei Kontext und Integrationen die umfangreichsten und fragmentiertesten Schichten sind. Sie testeten den BMAD-Orchestrator, der Überraschungen offenbarte, einschließlich der Erkenntnis, dass Architektur, die um Einschränkungen herum entworfen wird, oft besser funktioniert als der Versuch, sie zu beseitigen.