Probando Rails en piloto automático: un agente de inteligencia artificial que escribe pruebas en lugar de desarrolladores

Mistral AI desarrolló un agente autónomo que genera y mejora pruebas RSpec para aplicaciones Ruby on Rails. El agente funciona sobre Vibe, el asistente de código abierto de Mistral, y opera en cinco tipos principales de archivos: modelos, serializadores, controladores, mailers y ayudantes. Las técnicas clave incluyen ingeniería de contexto a través de un archivo AGENTS.md que proporciona un plan de ejecución paso a paso y un paso de autoevaluación forzada, archivos SKILLS especializados para cada tipo de archivo, y herramientas personalizadas para linting (RuboCop) y verificación de cobertura (SimpleCov). El agente está diseñado para ejecutarse en paralelo, procesando múltiples archivos simultáneamente. En un experimento realizado en un repositorio con 275 archivos fuente (la mitad sin pruebas), el agente alcanzó una tasa de aprobación de pruebas del 100% y una cobertura de líneas del 100%, con cero violaciones de RuboCop. La puntuación agregada del modelo de lenguaje como juez para los archivos que ya tenían pruebas mejoró de 0,49 a 0,74. Los modelos obtuvieron la puntuación más alta (0,81) y los controladores la más baja (0,67). La decisión más impactante fue agrupar SimpleCov con la ejecución de RSpec como paso final, obligando al agente a ejecutar cada prueba que escribió; inicialmente solo un tercio de las pruebas pasaron en la primera ejecución, pero el agente autocorrigió todos los fallos.