Автономный агент на Vibe: автоматическое тестирование Rails без участия человека
Mistral
Mistral AI создала автономного агента на основе открытого инструмента Vibe, который самостоятельно пишет и улучшает RSpec-тесты для Rails-монолитов. Агент анализирует исходные файлы, генерирует тесты, исправляет стилистические ошибки с помощью RuboCop и проверяет покрытие через SimpleCov. На реальном проекте с 275 файлами агент достиг 100% покрытия, нулевых нарушений RuboCop и оценки LLM-судьи 0,74.
Mistral AI построила автономного агента на базе своего открытого инструмента Vibe, который автоматизирует написание и улучшение тестов для Rails-монолитов. Агент читает исходные файлы пяти типов (модели, сериализаторы, контроллеры, почтовики, хелперы), генерирует или улучшает RSpec-тесты, запускает их в CI/CD без участия человека и параллельно обрабатывает несколько файлов. Для повышения качества агент использует три рычага: контекстную инженерию через AGENTS.md, специализированные SKILLS-файлы для каждого типа файлов и кастомные инструменты — RuboCop для проверки стиля и SimpleCov для оценки покрытия. На реальном репозитории из 275 файлов агент успешно обработал все файлы: для непокрытых создал тесты с нуля, для существующих — улучшил их. Итоговые метрики: 100% проходящих тестов, среднее построчное покрытие 100%, нулевые нарушения RuboCop и оценка LLM-судьи 0,74. Лучше всего тестировались модели (0,81), сложнее — контроллеры (0,67). Важнейшим решением стало принудительное выполнение тестов в конце: только треть тестов проходила с первой попытки, но агент самостоятельно исправлял ошибки за несколько итераций.
- Сокращения
- CI/CD = Continuous Integration / Continuous Delivery — непрерывная интеграция / непрерывная доставка
- RSpec = Ruby Specification — фреймворк для тестирования на Ruby
Источник: Mistral AI —
оригинал