Microsoft, kod testi üreten aracını açık kaynak yaptı: Çok dilli birim test ajanı, stok Copilot'un %78,9'una karşı %92,1 görev tamamlama oranına ulaştı

Microsoft, kod testi üreteci adlı, testler yazan ve çalıştıklarını kanıtlayan çok dilli bir birim test aracısını açık kaynak olarak yayınladı. Bu araç, MIT lisanslı dotnet/skills deposunda bir dotnet-test eklentisi olarak sunuluyor. Aracı, kodlama asistanlarının test çerçevelerini, dosya konumlarını veya iddiaları belirtmemesi gibi bir boşluğu ele alıyor. Önce deposu okuyor, ardından testleri planlıyor, yazıyor, çalıştırıyor ve kontrol ediyor. Microsoft'un dahili 152 görevlik kıyaslama testinde, aynı model ve istemleri kullanarak 140 görevi (%92,1) tamamlarken, stok GitHub Copilot 120 görevi (%78,9) tamamladı; bu, %63 daha az hata anlamına geliyor. Kazanımlar, belirsiz istemlerde (89'da 79 çözüldü, 89'da 59'a karşı) ve fark hedefli görevlerde (15'te 15, 15'te 0'a karşı) yoğunlaşıyor. Neredeyse aynı satır kapsamıyla (%72,4'e karşı %72,2) %2,3 daha az test üretti (6.963'e karşı 7.129) ve ortalama görev süresinde %5,5 daha hızlıydı. Aracı, çalışmayı Araştırma-Plan-Uygula hattı üzerinden koordine ediyor, dili ve test çerçevesini tespit ediyor, derleme ve test komutlarını buluyor ve üretim kodunu asla değiştirmiyor. Tamamlandığını bildirmeden önce, hafif mutasyon testi yaklaşımı da dahil olmak üzere beş doğrulama kontrolü çalıştırıyor. Aracı, barındırılan bir hizmet değil, becerilere sahip bir aracı tanımıdır; bu nedenle mevcut kodlama aracıları içinde çalışır ve kodu yerel tutar.