레일즈 자동 테스트: 개발자 대신 테스트를 작성하는 AI 에이전트

Mistral AI는 Ruby on Rails 애플리케이션을 위한 RSpec 테스트를 생성하고 개선하는 자율 에이전트를 개발했습니다. 이 에이전트는 Mistral의 오픈소스 코딩 어시스턴트인 Vibe 위에서 실행되며, 모델, 직렬화기, 컨트롤러, 메일러, 헬퍼 등 다섯 가지 주요 파일 유형을 대상으로 합니다. 주요 기술로는 단계별 실행 계획과 강제된 자체 검토 단계를 제공하는 컨텍스트 엔지니어링(AGENTS.md 파일 활용), 각 파일 유형별 전문화된 SKILLS 파일, 그리고 린팅(RuboCop) 및 커버리지 확인(SimpleCov)을 위한 맞춤형 도구가 포함됩니다. 이 에이전트는 병렬로 실행되도록 설계되어 여러 파일을 동시에 처리할 수 있습니다. 절반이 테스트되지 않은 275개의 소스 파일이 포함된 저장소 실험에서, 에이전트는 100% 테스트 통과율과 100% 라인 커버리지를 달성했으며, RuboCop 위반 사항이 전혀 발생하지 않았습니다. 이미 테스트가 존재하는 파일에 대한 LLM-as-a-judge 종합 점수는 0.49에서 0.74로 향상되었습니다. 모델이 가장 높은 점수(0.81)를 기록했고 컨트롤러가 가장 낮은 점수(0.67)를 기록했습니다. 가장 영향력 있는 결정은 SimpleCov를 RSpec 실행과 함께 최종 단계로 묶어, 에이전트가 작성한 모든 테스트를 실행하도록 강제한 것이었습니다. 처음 실행 시 테스트의 3분의 1만 통과했지만, 에이전트는 모든 실패를 자체적으로 수정했습니다.