Rails op de automatische piloot testen: een AI-agent die tests schrijft in plaats van ontwikkelaars
Mistral
Mistral AI bouwde een autonome agent bovenop zijn open-source codeerassistent Vibe die Rails-bronbestanden leest, RSpec-tests genereert of verbetert, en draait in een CI/CD-pijplijn zonder menselijke tussenkomst. De agent behaalde een 100% testslagingspercentage en codedekking op een echte codebase van 275 bestanden, met een LLM-als-rechter kwaliteitsscore van 0,74, tegenover 0,49 voor bestanden die al tests hadden.
Mistral AI heeft een autonome agent ontwikkeld die RSpec-tests voor Ruby on Rails-applicaties genereert en verbetert. De agent draait bovenop Vibe, de opensource-codeerassistent van Mistral, en werkt met vijf hoofdtypen bestanden: models, serializers, controllers, mailers en helpers. Belangrijke technieken zijn onder meer context engineering via een AGENTS.md-bestand dat een stapsgewijs uitvoeringsplan biedt met een verplichte zelfevaluatiestap, gespecialiseerde SKILLS-bestanden voor elk bestandstype, en aangepaste tools voor linting (RuboCop) en het controleren van testdekking (SimpleCov). De agent is ontworpen om parallel te werken en meerdere bestanden tegelijk te verwerken. In een experiment met een repository van 275 broncodebestanden (waarvan de helft zonder tests) behaalde de agent een slagingspercentage van 100% voor de tests en 100% regeldekking, zonder enige RuboCop-overtreding. De gecombineerde LLM-as-a-judge-score voor bestanden die al tests hadden, verbeterde van 0,49 naar 0,74. Models scoorden het hoogst (0,81) en controllers het laagst (0,67). De meest bepalende beslissing was om SimpleCov te combineren met de uitvoering van RSpec als laatste stap, waardoor de agent gedwongen werd elke geschreven test daadwerkelijk uit te voeren; aanvankelijk slaagde slechts een derde van de tests bij de eerste uitvoering, maar de agent corrigeerde vervolgens zelfstandig alle fouten.
Bron: Mistral AI —
origineel