Rails-testen op de automatische piloot: AI-agent die tests schrijft in plaats van ontwikkelaars

Mistral AI heeft een autonome agent ontwikkeld voor het testen van Rails-applicaties, gebaseerd op haar open tool Vibe. De agent leest de bronbestanden van Rails (modellen, serializers, controllers, mailers, helpers) en genereert of verbetert RSpec-tests, volgens de gangbare bestandskoppelingsconventies. Voor verschillende bestandstypen worden aparte skill-bestanden gebruikt. De agent voert RuboCop uit voor stijlcontrole en SimpleCov samen met RSpec voor dekking en correctheid – dit is een verplichte laatste stap, omdat tests zonder uitvoering er weliswaar kwalitatief uit kunnen zien, maar niet werken door syntaxisfouten. In AGENTS.md staat een stapsgewijze handleiding, inclusief een gedwongen zelfcontrole: de agent herleest het bronbestand en controleert of alle publieke methoden zijn getest. Bij de eerste run slaagde slechts een derde van de tests, maar de agent corrigeerde alle fouten binnen enkele iteraties. In een experiment met 275 bestanden (waarvan de helft geen tests had) genereerde of verbeterde de agent tests, met als resultaat: 100% geslaagde tests, nul overtredingen in RuboCop, 100% dekkingsgraad volgens SimpleCov en een gemiddelde score van 0,74 volgens de LLM-as-a-judge-methode. De beste resultaten werden behaald met modellen (0,81), de slechtste met controllers (0,67).