اختبار ريلز على الطيار الآلي: وكيل ذكاء اصطناعي يكتب الاختبارات بدلاً من المطورين

طورت شركة Mistral AI عميلًا ذاتيًا يعمل على إنشاء وتحسين اختبارات RSpec لتطبيقات Ruby on Rails. يعمل العميل فوق Vibe، مساعد Mistral مفتوح المصدر للبرمجة، ويتعامل مع خمسة أنواع رئيسية من الملفات: النماذج، المسلسلات، وحدات التحكم، البريد الإلكتروني، والمساعدات. تشمل التقنيات الرئيسية هندسة السياق عبر ملف AGENTS.md الذي يوفر خطة تنفيذ خطوة بخطوة وخطوة مراجعة ذاتية إجبارية، وملفات SKILLS متخصصة لكل نوع ملف، وأدوات مخصصة للتدقيق (RuboCop) وفحص التغطية (SimpleCov). صُمم العميل ليعمل بشكل متوازٍ، مع معالجة عدة ملفات في وقت واحد. في تجربة على مستودع يضم 275 ملفًا مصدريًا (نصفها بدون اختبارات)، حقق العميل نسبة نجاح اختبارات 100% وتغطية سطور 100%، مع عدم وجود أي انتهاكات لـ RuboCop. تحسنت درجة تقييم LLM-as-a-judge الإجمالية للملفات التي كانت تحتوي على اختبارات بالفعل من 0.49 إلى 0.74. سجلت النماذج أعلى درجة (0.81) ووحدات التحكم أدنى درجة (0.67). كان القرار الأكثر تأثيرًا هو دمج SimpleCov مع تنفيذ RSpec كخطوة أخيرة، مما أجبر العميل على تشغيل كل اختبار كتبه؛ في البداية، نجح ثلث الاختبارات فقط عند التشغيل الأول، لكن العميل صحح جميع حالات الفشل ذاتيًا.