First Orion이 Amazon Nova Act로 QA 자동화를 가속화하다

First Orion는 미국, 캐나다, 영국, 독일의 통신사에 브랜드 발신 및 메시징 솔루션을 제공하는 회사로, 웹 애플리케이션이 늘어나면서 QA 병목 현상에 직면했습니다. 기존의 Selenium, Playwright 같은 자동화 테스트 프레임워크는 취약하여 UI 변경 시 중단되거나 새 테스트 작성에 며칠이 걸리기도 했습니다. 이를 해결하기 위해 이들은 QA 분석가가 일상 영어로 테스트를 설명하면 브라우저 작업을 자동으로 실행하는 AI 모델인 Amazon Nova Act를 도입했습니다. Nova Act SDK를 사용한 종단 간 시스템을 구축했으며, React 기반 테스트 작성 UI, Amazon S3에 테스트 저장, Amazon ECS와 AWS Fargate에서 테스트 러너를 운영하고 브라우저 작업은 Amazon Bedrock AgentCore Browser에 위임했습니다. 그 결과 특정 테스트 유형에서 QA 주기가 20~25% 단축되고, 엔지니어링 시간이 25~30% 절약되었으며, 일부 사례에서는 테스트 범위가 15% 이상 증가했습니다. 또한 개발에는 Kiro IDE를 채택하고 Allure 및 Microsoft Teams를 통한 보고를 통합했습니다.