Tests Rails en pilotage automatique : un agent IA écrit les tests à la place des développeurs

Mistral AI a développé un agent autonome pour tester les applications Rails, basé sur son outil open source Vibe. L'agent lit les fichiers sources Rails (modèles, sérialiseurs, contrôleurs, mailers, helpers) et génère ou améliore les tests RSpec, en suivant les conventions de correspondance des fichiers. Pour chaque type de fichier, des fichiers de compétences (skills) distincts sont utilisés. L'agent exécute RuboCop pour vérifier le style et SimpleCov avec RSpec pour vérifier la couverture et l'exactitude – il s'agit d'une étape finale obligatoire, car sans exécution, les tests peuvent sembler de bonne qualité mais ne pas fonctionner en raison d'erreurs de syntaxe. Le fichier AGENTS.md décrit des instructions détaillées, incluant une auto-vérification forcée : l'agent relit le fichier source et vérifie que toutes les méthodes publiques sont testées. Lors du premier lancement, seulement un tiers des tests réussissaient, mais l'agent corrigeait toutes les erreurs en quelques itérations. Dans une expérience portant sur 275 fichiers (dont la moitié sans tests), l'a généré ou amélioré les tests, atteignant 100 % de réussite des tests, zéro violation de RuboCop, 100 % de couverture selon SimpleCov et un score moyen de 0,74 selon la méthode LLM-as-a-judge. Les meilleurs résultats ont été obtenus avec les modèles (0,81), les moins bons avec les contrôleurs (0,67).