Tester Rails en mode pilote automatique : un agent IA qui écrit des tests à la place des développeurs

Mistral AI a développé un agent autonome qui génère et améliore les tests RSpec pour les applications Ruby on Rails. L'agent s'exécute sur Vibe, l'assistant de codage open source de Mistral, et opère sur cinq types de fichiers principaux : les modèles, les sérialiseurs, les contrôleurs, les gestionnaires de courrier (mailers) et les assistants (helpers). Les techniques clés incluent l'ingénierie de contexte via un fichier AGENTS.md qui fournit un plan d'exécution étape par étape et une étape d'auto-révision forcée, des fichiers SKILLS spécialisés pour chaque type de fichier, ainsi que des outils personnalisés pour le linting (RuboCop) et la vérification de la couverture (SimpleCov). L'agent est conçu pour fonctionner en parallèle, traitant plusieurs fichiers simultanément. Dans une expérience menée sur un dépôt contenant 275 fichiers sources (dont la moitié sans tests), l'agent a atteint un taux de réussite des tests de 100 % et une couverture de code de 100 %, sans aucune violation de RuboCop. Le score agrégé LLM-as-a-judge pour les fichiers qui avaient déjà des tests est passé de 0,49 à 0,74. Les modèles ont obtenu le score le plus élevé (0,81) et les contrôleurs le plus bas (0,67). La décision la plus impactante a été d'inclure SimpleCov avec l'exécution de RSpec comme étape finale, obligeant l'agent à exécuter chaque test qu'il avait écrit ; initialement, seulement un tiers des tests passaient à la première exécution, mais l'agent a corrigé tous les échecs.