रेल्स का ऑटोपायलट पर परीक्षण: एक AI एजेंट जो डेवलपर्स के बजाय परीक्षण लिखता है
Mistral
Mistral AI ने अपने ओपन-सोर्स कोडिंग असिस्टेंट Vibe के ऊपर एक स्वायत्त एजेंट बनाया है जो Rails स्रोत फाइलों को पढ़ता है, RSpec परीक्षण उत्पन्न या सुधारता है, और मानव हस्तक्षेप के बिना CI/CD पाइपलाइन में चलता है। एजेंट ने 275 फाइलों के वास्तविक कोडबेस पर 100% परीक्षण पास दर और कोड कवरेज हासिल किया, जिसमें LLM-एक-न्यायाधीश गुणवत्ता स्कोर 0.74 था, जो पहले से परीक्षण वाली फाइलों पर 0.49 से अधिक है।
Mistral AI ने एक स्वायत्त एजेंट विकसित किया है जो Ruby on Rails अनुप्रयोगों के लिए RSpec परीक्षण उत्पन्न और सुधारता है। यह एजेंट Mistral के ओपन-सोर्स कोडिंग सहायक Vibe के ऊपर चलता है और पाँच मुख्य फ़ाइल प्रकारों पर काम करता है: मॉडल, सीरियलाइज़र, कंट्रोलर, मेलर और हेल्पर। मुख्य तकनीकों में AGENTS.md फ़ाइल के माध्यम से संदर्भ इंजीनियरिंग शामिल है, जो चरण-दर-चरण निष्पादन योजना और एक अनिवार्य स्व-समीक्षा चरण प्रदान करती है, प्रत्येक फ़ाइल प्रकार के लिए विशेष SKILLS फ़ाइलें, और लिंटिंग (RuboCop) और कवरेज जाँच (SimpleCov) के लिए कस्टम टूल। एजेंट को समानांतर में चलाने के लिए डिज़ाइन किया गया है, जो एक साथ कई फ़ाइलों को प्रोसेस करता है। 275 स्रोत फ़ाइलों (आधी बिना परीक्षण के) वाले एक रिपॉजिटरी पर एक प्रयोग में, एजेंट ने 100% परीक्षण पास दर और 100% लाइन कवरेज प्राप्त किया, जिसमें शून्य RuboCop उल्लंघन थे। जिन फ़ाइलों में पहले से परीक्षण थे, उनके लिए LLM-एक-न्यायाधीश समग्र स्कोर 0.49 से सुधरकर 0.74 हो गया। मॉडल ने सबसे अधिक स्कोर (0.81) प्राप्त किया और कंट्रोलर ने सबसे कम (0.67)। सबसे प्रभावशाली निर्णय SimpleCov को अंतिम चरण के रूप में RSpec निष्पादन के साथ बंडल करना था, जिससे एजेंट को अपने लिखे हर परीक्षण को चलाने के लिए मजबूर होना पड़ा; शुरू में पहले निष्पादन पर केवल एक तिहाई परीक्षण पास हुए, लेकिन एजेंट ने सभी विफलताओं को स्वयं सुधार लिया।
स्रोत: Mistral AI —
मूल