마이크로소프트, 코드 테스트 생성기 오픈소스 공개: 92.1% 작업 완료율 달성한 다국어 단위 테스트 에이전트 (기존 Copilot은 78.9%)

마이크로소프트가 코드 테스트 생성기(code-testing-generator)를 오픈소스로 공개했다. 이 도구는 다중 언어 유닛 테스트 에이전트로, 테스트를 작성하고 그 테스트가 실제로 작동함을 증명한다. MIT 라이선스의 dotnet/skills 저장소에 dotnet-test 플러그인으로 제공된다. 이 에이전트는 코딩 어시스턴트가 테스트 프레임워크, 파일 위치, 어서션(assertion)을 지정하지 않는 문제를 해결한다. 먼저 저장소를 읽은 후, 테스트를 계획하고 작성하고 실행하며 검증한다. 마이크로소프트의 내부 152개 작업 벤치마크에서, 동일한 모델과 프롬프트를 사용했을 때 이 에이전트는 140개 작업(92.1%)을 완료한 반면, 기본 GitHub Copilot은 120개(78.9%)를 완료하여 실패율이 63% 감소했다. 이러한 성과는 모호한 프롬프트(89개 중 79개 해결 vs 59개 해결)와 diff 대상 작업(15개 중 15개 vs 0개)에서 집중적으로 나타났다. 생성된 테스트 수는 2.3% 적었고(6,963개 vs 7,129개), 라인 커버리지는 거의 동일했으며(72.4% vs 72.2%), 평균 작업 시간은 5.5% 빨랐다. 이 에이전트는 Research-Plan-Implement 파이프라인을 통해 작업을 조정하고, 언어와 테스트 프레임워크를 감지하며, 빌드 및 테스트 명령을 찾고, 프로덕션 코드는 절대 수정하지 않는다. 완료를 보고하기 전에 가벼운 변형 테스트(mutation testing) 방식을 포함한 다섯 가지 검증을 실행한다. 이 에이전트는 호스팅 서비스가 아닌 스킬(skills)로 구성된 에이전트 정의이므로, 기존 코딩 에이전트 내에서 실행되며 코드를 로컬에 유지한다.