AI 오토파일럿: 채택된 작업의 흐름이 13배 증가

팀은 YouTrack의 작업을 라이브 2D/3D GUI 검증까지 처리하는 AI 자동 조종 파이프라인을 구축했습니다. 자동 조종 도입 전에는 프로젝트가 주당 5개 미만의 작업을 수용했지만, 도입 후에는 약 60개를 수용했으며, AI가 그중 4분의 3을 처리했습니다. 새 티켓 제출도 거의 3배로 증가했는데, 부분적으로는 사용자들이 이제 수정이 빠르다는 것을 알고 문제를 보고하기 시작했기 때문입니다. 첫 수정까지의 중간 시간은 거의 3일에서 1일 미만으로 단축되었습니다. 팀은 700개 이상의 작업으로 구성된 백로그를 해소했으며, 9개월 이상 지난 144개를 처리했고, 거의 3분의 2가 승인되었습니다. 그러나 재오픈율은 약 11%에서 더 높은 수준으로 상승했는데, 종종 AI가 생성한 증명이 설득력이 없었기 때문입니다. 이에 대응하여 독립적인 감사 패스를 도입했는데, 이는 실행의 약 3분의 1에서 작업을 거부하고 잘못 해석된 작업을 발견했습니다. 시스템은 거의 8주 동안 869시간을 실행했으며, 이는 약 2.8명의 풀타임 엔지니어에 해당합니다. 월 구독 비용은 약 500달러였고, 동등한 토큰 기반 가격은 약 5700달러였습니다. Claude는 더 저렴했지만 덜 엄격했고, Codex는 더 비쌌지만 GUI 검증에 더 뛰어났습니다. 팀은 Codex를 GUI 파일럿 역할로 옮기고 감사에는 더 간단한 모델을 사용할 계획입니다.