自动化Rails测试：AI代理替代开发者编写测试

Mistral AI 开发了一款自主智能体(agent),可为 Ruby on Rails 应用生成并改进 RSpec 测试。该智能体运行在 Mistral 的开源编程助手 Vibe 之上,主要处理五种文件类型:模型(model)、序列化器(serializer)、控制器(controller)、邮件发送器(mailer)和辅助方法(helper)。其核心技术包括:通过 AGENTS.md 文件进行上下文工程(context engineering),提供分步执行计划并强制执行自我审查环节;针对每种文件类型定制的 SKILLS 文件;以及用于代码规范检查(RuboCop)和覆盖率检测(SimpleCov)的自定义工具。该智能体被设计为可并行运行,能够同时处理多个文件。 在一个包含 275 个源文件(其中一半没有测试)的代码仓库上进行的实验中,该智能体实现了 100% 的测试通过率和 100% 的代码行覆盖率,且没有出现任何 RuboCop 违规项。对于原本就有测试的文件,基于大语言模型评判(LLM-as-a-judge)的综合评分从 0.49 提升到了 0.74。其中,模型文件得分最高(0.81),控制器文件得分最低(0.67)。 影响最大的一项决策是将 SimpleCov 与 RSpec 的执行捆绑作为最后一步,强制智能体运行它所编写的每一个测试。起初,只有三分之一的测试在首次执行时能够通过,但该智能体成功自我修正了所有失败的测试。