Testes Rails em Piloto Automático: Agente de IA que Escreve Testes em vez de Desenvolvedores

A Mistral AI desenvolveu um agente autônomo para testar aplicações Rails com base em sua ferramenta de código aberto Vibe. O agente lê os arquivos-fonte do Rails (modelos, serializadores, controladores, mailers, helpers) e gera ou melhora testes RSpec, seguindo convenções de correspondência de arquivos. Para diferentes tipos de arquivo, são usados arquivos de competências (skills) separados. O agente executa RuboCop para verificar o estilo e SimpleCov junto com RSpec para verificar a cobertura e a correção — este é um passo final obrigatório, pois sem a execução os testes podem parecer de qualidade, mas não rodar devido a erros de sintaxe. No arquivo AGENTS.md, há uma instrução passo a passo que inclui uma auto-verificação forçada: o agente relê o arquivo-fonte e verifica se todos os métodos públicos estão testados. Na primeira execução, apenas um terço dos testes passava com sucesso, mas o agente corrigiu todos os erros em algumas iterações. Em um experimento com 275 arquivos (metade sem testes), o agente gerou ou melhorou testes, alcançando 100% de aprovação nos testes, zero violações de RuboCop, 100% de cobertura pelo SimpleCov e uma pontuação média de 0,74 pelo método LLM-as-a-judge. Os melhores resultados foram com os modelos (0,81), e os piores, com os controladores (0,67).