Microsoft Rilis Sumber Terbuka code-testing-generator: Agen Unit-Test Multibahasa yang Mencapai 92,1% Penyelesaian Tugas vs 78,9% untuk Copilot Standar

Microsoft telah merilis code-testing-generator sebagai open source, sebuah agen pengujian unit multibahasa yang menulis tes dan membuktikan bahwa tes tersebut berfungsi. Agen ini dikirim sebagai plugin dotnet-test di repositori dotnet/skills yang dilisensikan di bawah MIT. Agen ini mengatasi kesenjangan di mana asisten pengkodean tidak menentukan kerangka kerja pengujian, lokasi file, atau asersi. Agen ini terlebih dahulu membaca repositori, kemudian merencanakan, menulis, menjalankan, dan memeriksa tes. Pada tolok ukur internal Microsoft dengan 152 tugas, agen ini menyelesaikan 140 tugas (92,1%) dibandingkan dengan 120 tugas (78,9%) untuk GitHub Copilot standar, menggunakan model dan prompt yang sama, yang berarti 63% lebih sedikit kegagalan. Peningkatan ini terkonsentrasi pada prompt yang samar (79/89 berhasil diselesaikan vs 59/89) dan tugas yang menargetkan diff (15/15 vs 0/15). Agen ini menghasilkan 2,3% lebih sedikit tes (6.963 vs 7.129) dengan cakupan baris yang hampir identik (72,4% vs 72,2%), dan rata-rata waktu tugas 5,5% lebih cepat. Agen ini mengoordinasikan pekerjaan melalui pipeline Riset-Rencana-Implementasi, mendeteksi bahasa dan kerangka kerja pengujian, menemukan perintah build dan test, dan tidak pernah memodifikasi kode produksi. Agen ini menjalankan lima pemeriksaan verifikasi sebelum melaporkan penyelesaian, termasuk pendekatan pengujian mutasi yang ringan. Agen ini adalah definisi agen dengan keterampilan, bukan layanan yang dihosting, sehingga berjalan di dalam agen pengkodean yang ada dan menjaga kode tetap lokal.