Thử nghiệm Rails trên Autopilot: Tác nhân AI viết bài kiểm tra thay vì lập trình viên

Mistral AI đã phát triển một tác tử tự động có khả năng tạo và cải thiện các bài kiểm tra RSpec cho các ứng dụng Ruby on Rails. Tác tử này chạy trên nền tảng Vibe, trợ lý lập trình mã nguồn mở của Mistral, và hoạt động trên năm loại tệp chính: models, serializers, controllers, mailers và helpers. Các kỹ thuật chính bao gồm kỹ thuật ngữ cảnh thông qua tệp AGENTS.md cung cấp kế hoạch thực thi từng bước và bước tự đánh giá bắt buộc, các tệp SKILLS chuyên biệt cho từng loại tệp, cùng các công cụ tùy chỉnh để kiểm tra linting (RuboCop) và kiểm tra độ phủ (SimpleCov). Tác tử được thiết kế để chạy song song, xử lý nhiều tệp cùng lúc. Trong một thí nghiệm trên kho lưu trữ có 275 tệp nguồn (một nửa không có kiểm thử), tác tử đã đạt tỷ lệ vượt qua kiểm thử 100% và độ phủ dòng 100%, không có vi phạm RuboCop nào. Điểm tổng hợp theo phương pháp LLM-as-a-judge cho các tệp đã có kiểm thử tăng từ 0,49 lên 0,74. Models đạt điểm cao nhất (0,81) và controllers thấp nhất (0,67). Quyết định có tác động lớn nhất là tích hợp SimpleCov với việc thực thi RSpec như bước cuối cùng, buộc tác tử phải chạy mọi kiểm thử nó viết; ban đầu chỉ một phần ba số kiểm thử vượt qua ở lần chạy đầu tiên, nhưng tác tử đã tự sửa tất cả các lỗi.