Microsoft mã nguồn mở công cụ tạo kiểm thử mã: Trình tạo kiểm thử đơn vị đa ngôn ngữ đạt 92,1% hoàn thành tác vụ so với 78,9% của Copilot gốc

Microsoft đã phát hành mã nguồn mở code-testing-generator, một tác tử kiểm thử đơn vị đa ngôn ngữ có khả năng viết bài kiểm thử và chứng minh chúng hoạt động. Nó được đóng gói như một plugin dotnet-test trong kho lưu trữ MIT-licensed dotnet/skills. Tác tử này giải quyết khoảng trống khi các trợ lý lập trình không chỉ định khung kiểm thử, vị trí tệp hoặc xác nhận. Đầu tiên, nó đọc kho lưu trữ, sau đó lập kế hoạch, viết, chạy và kiểm tra các bài kiểm thử. Trên benchmark nội bộ 152 nhiệm vụ của Microsoft, nó hoàn thành 140 nhiệm vụ (92,1%) so với 120 nhiệm vụ (78,9%) của GitHub Copilot tiêu chuẩn, sử dụng cùng một mô hình và lời nhắc, giảm 63% số lần thất bại. Lợi ích tập trung vào các lời nhắc mơ hồ (79/89 được giải quyết so với 59/89) và các nhiệm vụ nhắm mục tiêu diff (15/15 so với 0/15). Nó tạo ra ít hơn 2,3% số bài kiểm thử (6.963 so với 7.129) với độ phủ dòng gần như giống hệt (72,4% so với 72,2%) và nhanh hơn trung bình 5,5% về thời gian nhiệm vụ. Tác tử phối hợp công việc thông qua quy trình Research-Plan-Implement, phát hiện ngôn ngữ và khung kiểm thử, tìm lệnh xây dựng và kiểm thử, và không bao giờ sửa đổi mã sản xuất. Nó chạy năm kiểm tra xác minh trước khi báo cáo hoàn thành, bao gồm phương pháp kiểm thử đột biến nhẹ. Tác tử này là một định nghĩa tác tử với các kỹ năng, không phải là dịch vụ được lưu trữ, do đó nó chạy bên trong các tác tử mã hiện có và giữ mã ở cục bộ.