Microsoft open source le générateur de tests de code : un agent de tests unitaires polyglotte atteignant 92,1 % de tâches accomplies contre 78,9 % pour Copilot standard
Microsoft
Microsoft a open sourcé code-testing-generator, un agent qui écrit et vérifie des tests unitaires. Sur le benchmark interne de 152 tâches de Microsoft, il a atteint 92,1 % de tâches accomplies contre 78,9 % pour GitHub Copilot standard, avec moins de tests générés et la même couverture de lignes.
Microsoft a rendu open source code-testing-generator, un agent de tests unitaires polyglotte qui écrit des tests et prouve qu'ils fonctionnent. Il est livré comme plugin dotnet-test dans le dépôt dotnet/skills sous licence MIT. L'agent répond au manque des assistants de codage qui ne spécifient pas les frameworks de test, les emplacements de fichiers ou les assertions. Il lit d'abord le dépôt, puis planifie, écrit, exécute et vérifie les tests. Sur le benchmark interne de 152 tâches de Microsoft, il a accompli 140 tâches (92,1 %) contre 120 (78,9 %) pour GitHub Copilot standard, en utilisant le même modèle et les mêmes invites, soit 63 % d'échecs en moins. Les gains se concentrent sur les invites vagues (79/89 résolues contre 59/89) et les tâches ciblées par diff (15/15 contre 0/15). Il a généré 2,3 % de tests en moins (6 963 contre 7 129) avec une couverture de lignes quasi identique (72,4 % contre 72,2 %), et a été 5,5 % plus rapide en temps moyen par tâche. L'agent coordonne le travail via un pipeline Recherche-Plan-Implémentation, détecte le langage et le framework de test, trouve les commandes de build et de test, et ne modifie jamais le code de production. Il exécute cinq vérifications avant de signaler l'achèvement, y compris une approche légère de test par mutation. L'agent est une définition d'agent avec des compétences, et non un service hébergé, donc il fonctionne au sein des agents de codage existants et garde le code en local.
Source: MarkTechPost —
original
