Microsoft avasi lähdekoodin code-testing-generatorille: monikielinen yksikkötestausagentti saavuttaa 92,1 prosentin tehtävien suorituksen verrattuna varastossa olevan Copilotin 78,9 prosenttiin

Microsoft on julkaissut avoimen lähdekoodin code-testing-generator -työkalun, joka on monikielinen yksikkötestausagentti. Se kirjoittaa testejä ja todistaa niiden toimivuuden. Työkalu on saatavana dotnet-test-laajennuksena MIT-lisensoidussa dotnet/skills-varastossa. Agentti vastaa ongelmaan, jossa koodausavustajat eivät määrittele testauskehystä, tiedostosijainteja tai väitteitä. Se lukee ensin repositorion, sitten suunnittelee, kirjoittaa, suorittaa ja tarkistaa testit. Microsoftin sisäisessä 152 tehtävän vertailussa se suoritti 140 tehtävää (92,1 %) verrattuna 120:een (78,9 %) tavallisella GitHub Copilotilla, käyttäen samaa mallia ja kehotteita, mikä tarkoittaa 63 prosenttia vähemmän epäonnistumisia. Hyödyt keskittyvät epämääräisiin kehotteisiin (79/89 ratkaistu vs. 59/89) ja diff-kohdennettuihin tehtäviin (15/15 vs. 0/15). Se tuotti 2,3 prosenttia vähemmän testejä (6 963 vs. 7 129) lähes identtisellä rivikattavuudella (72,4 % vs. 72,2 %), ja oli 5,5 prosenttia nopeampi keskimääräisessä tehtäväajassa. Agentti koordinoi työtä Research-Plan-Implement-putken kautta, tunnistaa kielen ja testauskehyksen, löytää rakennus- ja testikomennot, eikä koskaan muokkaa tuotantokoodia. Se suorittaa viisi varmistustarkistusta ennen valmistumisen ilmoittamista, mukaan lukien kevyt mutaatiotestausmenetelmä. Agentti on agenttimääritelmä taitoineen, ei isännöity palvelu, joten se toimii olemassa olevien koodausagenttien sisällä ja pitää koodin paikallisena.