اختبار ريلز على الطيار الآلي: وكيل ذكاء اصطناعي يكتب الاختبارات بدلاً من المطورين

طورت شركة Mistral AI وكيلاً مستقلاً لاختبار تطبيقات Rails، يعتمد على أداتها مفتوحة المصدر Vibe. يقرأ الوكيل ملفات Rails المصدرية (النماذج، أدوات التسلسل، المتحكمات، أدوات البريد، المساعدات) ويقوم بإنشاء أو تحسين اختبارات RSpec، متبعاً اتفاقيات مطابقة الملفات. تستخدم ملفات مهارات منفصلة لأنواع الملفات المختلفة. يقوم الوكيل بتشغيل RuboCop للتحقق من الأسلوب، وSimpleCov مع RSpec للتحقق من التغطية والصحة - وهذه خطوة نهائية إلزامية، لأنه بدون تشغيل الاختبارات قد تبدو جيدة الجودة لكنها لا تعمل بسبب أخطاء نحوية. في ملف AGENTS.md توجد تعليمات خطوة بخطوة تتضمن فحصاً ذاتياً إجبارياً: يعيد الوكيل قراءة الملف المصدر ويتأكد من اختبار جميع الطرق العامة. في التشغيل الأول، نجح ثلث الاختبارات فقط، لكن الوكيل صحح جميع الأخطاء خلال بضع دورات. في تجربة على 275 ملفاً (نصفها بدون اختبارات)، أنشأ الوكيل أو حسن الاختبارات، محققاً نسبة نجاح 100% في الاختبارات، وانتهاكات صفرية في RuboCop، وتغطية كاملة بنسبة 100% عبر SimpleCov، ومتوسط درجة 0.74 وفق طريقة LLM-as-a-judge. أفضل النتائج كانت للنماذج (0.81)، والأسوأ للمتحكمات (0.67).