Testen von Rails im Autopilot: Ein KI-Agent, der Tests statt Entwickler schreibt

Mistral AI hat einen autonomen Agenten entwickelt, der RSpec-Tests für Ruby-on-Rails-Anwendungen generiert und verbessert. Der Agent läuft auf Basis von Vibe, Mistrals Open-Source-Coding-Assistenten, und arbeitet mit fünf Hauptdateitypen: Models, Serializer, Controller, Mailer und Helper. Zu den wichtigsten Techniken gehören das Context Engineering über eine AGENTS.md-Datei, die einen schrittweisen Ausführungsplan sowie einen erzwungenen Selbstüberprüfungsschritt bereitstellt, spezialisierte SKILLS-Dateien für jeden Dateityp sowie benutzerdefinierte Tools für Linting (RuboCop) und Coverage-Prüfung (SimpleCov). Der Agent ist für die parallele Ausführung konzipiert und verarbeitet mehrere Dateien gleichzeitig. In einem Experiment mit einem Repository, das 275 Quelldateien umfasste (von denen die Hälfte keine Tests hatte), erreichte der Agent eine Testbestehensquote von 100 Prozent und eine Zeilenabdeckung von 100 Prozent, ohne RuboCop-Verstöße. Der LLM-as-a-Judge-Aggregatswert für Dateien, die bereits Tests enthielten, verbesserte sich von 0,49 auf 0,74. Models erzielten den höchsten Wert (0,81) und Controller den niedrigsten (0,67). Die wirkungsvollste Entscheidung war die Bündelung von SimpleCov mit der RSpec-Ausführung als letztem Schritt, was den Agenten zwang, jeden von ihm geschriebenen Test auszuführen; zunächst bestand nur ein Drittel der Tests beim ersten Durchlauf, aber der Agent korrigierte alle Fehler selbstständig.