대규모 AI 도입: 500명 이상의 개발자와 함께하는 채택, 지표, 팀 혁신 관리 방법

유리 카처 운영본부 Data Office 프로덕트 오너와 뱌체슬라프 구치 인공지능(AI) 프로덕트 매니저는 개발자, 데이터 엔지니어, 애널리스트, 지원 엔지니어 500여 명이 일하는 은행에서 1년 넘게 에이전틱 엔지니어링을 도입하며 얻은 인사이트를 공유한다. 이들은 전통적인 학습 방식이 도입 확산에는 거의 도움이 되지 않으며, 사용자 수가 곧 비즈니스 효과를 의미하지도 않는다는 점을 발견했다. 이에 단일한 일간 사용량(Daily Usage) 지표 대신 네 가지 도입 지표, 즉 AI 침투율(AI penetration), 활성 사용자(Active users), W50+, W80+로 전환했다. 여기서 W50+와 W80+는 한 달 근무일의 50% 초과와 80% 초과에 해당하는 날에 AI를 사용하는 직원 비율을 뜻한다. 이 은행은 모든 것을 자동화하려 하지 않고, 작업의 80%를 에이전트가 처리해 결과의 80%를 만들어 내는 파레토 최적 상태를 목표로 한다. 이들은 코드 작성이 더 이상 주요 병목이 아니라고 봤다. 오히려 명세의 품질, 에이전트가 활용할 수 있는 컨텍스트, 통합, 그리고 팀이 업무 프로세스를 재구성하는 역량이 가장 중요했다. 자율 개발로의 이동을 추적하기 위해 AI가 보조한 작업 비율과 자율적으로 완료·전달된 작업 비율 같은 프록시 지표를 도입했고, 결함률(Defect Rate), 사이클 타임(Cycle Time), 리드 타임(Lead Time), 처리량(Throughput) 같은 고전적인 엔지니어링 지표도 계속 살폈다. 역할도 변하고 있었다. 개발자는 엔드투엔드 엔지니어나 Product Engineer로 수렴하고, 데이터 직군은 Data Product Engineer로 모아졌다. 파일럿에서는 개발자 두 명과 비즈니스 전문가 한 명으로 이뤄진 미니 팀이 다섯 명 팀과 같은 기간에 통합 서비스를 완성했다. 품질을 유지하고 처리량을 높였지만 리드 타임은 그대로였다. 이들은 기술 준비가 매우 중요하다고 강조하며 에이전틱 엔지니어링의 네 가지 기둥을 제시하는데, 그중에서도 컨텍스트와 통합이 가장 넓고 가장 파편화된 계층이다. 이들은 BMAD 오케스트레이터도 시험했고, 그 과정에서 제약을 없애려 하기보다 제약을 중심에 두고 설계한 아키텍처가 더 잘 작동하는 경우가 많다는 뜻밖의 사실을 확인했다.