AI를 활용한 오류 그룹화 및 근본 원인 분석(RCA)

이 기사는 AI가 코드 개발을 가속화하는 반면 QA 처리량은 개선되지 않았다고 주장합니다. 그 이유 중 하나는 AI의 실패 분석에는 컨텍스트와 데이터 준비가 필요하기 때문입니다. 저자는 로케이터가 변경된 간단한 배너 컴포넌트에 대해 테스트를 실행하여 두 개의 테스트 실패를 발생시킵니다. AI 분석(playwright-ai/auto-debug 사용)은 각 실패에 대해 별도의 가설을 제공하지만, 그룹화가 없으면 시간이 배가됩니다. 기존 RCA 실험(GPTrace, FlakyCat, BuildSheriff, LogSage)은 그룹화가 종종 알고리즘적으로 또는 AI로 수행되지만, AI 전처리는 비용이 많이 든다는 것을 보여줍니다(예: GPTrace는 OpenAI를 사용하여 30만 개의 벡터 처리에 10시간이 걸렸습니다). 이 기사는 AI 분석 전에 실패를 그룹화할 필요성을 강조하며, Allure Report를 전처리를 단순화하는 구조화된 데이터 소스로 강조합니다. Allure Report는 오류 메시지별 기본 그룹화와 사용자 정의 카테고리 지원을 제공합니다. 결론적으로, 테스트에서의 AI는 모델 튜닝뿐만 아니라 성숙한 데이터 관행을 요구합니다.