マイクロソフト、コードテスト生成ツール「code-testing-generator」をオープンソース化:多言語ユニットテストエージェントがタスク完了率92.1%を達成、標準Copilotの78.9%を上回る
Microsoft
マイクロソフトは、ユニットテストの作成と検証を行うエージェント「code-testing-generator」をオープンソース化しました。マイクロソフト社内の152タスクのベンチマークでは、タスク完了率92.1%を達成し、標準のGitHub Copilotの78.9%を上回りました。生成されるテスト数は少なく、行カバレッジは同等です。
マイクロソフトは、コードテスト生成ツールである「コードテストジェネレーター」をオープンソースとして公開しました。これは、テストを作成し、それらが機能することを証明する多言語対応の単体テストエージェントです。MITライセンスの「dotnet/skills」リポジトリ内の「dotnet-test」プラグインとして提供されます。このエージェントは、コーディングアシスタントがテストフレームワーク、ファイルの場所、アサーションを指定しないというギャップに対処します。まずリポジトリを読み取り、その後、テストを計画、記述、実行、検証します。マイクロソフトの社内ベンチマーク(152タスク)では、同じモデルとプロンプトを使用した場合、標準のGitHub Copilotの120タスク(78.9%)に対して、140タスク(92.1%)を完了し、失敗率が63%減少しました。その利点は、あいまいなプロンプト(89件中79件解決 vs 59件)と差分対象タスク(15件中15件 vs 0件)に集中しています。生成されたテスト数は2.3%少なく(6,963件 vs 7,129件)、行カバレッジはほぼ同一(72.4% vs 72.2%)で、平均タスク時間は5.5%高速でした。このエージェントは、リサーチ・プラン・実装のパイプラインを通じて作業を調整し、言語とテストフレームワークを検出し、ビルドおよびテストコマンドを見つけ、本番コードを変更することはありません。完了を報告する前に、軽量なミューテーションテストアプローチを含む5つの検証チェックを実行します。このエージェントは、ホスト型サービスではなく、スキルを持つエージェント定義であり、既存のコーディングエージェント内で実行され、コードをローカルに保持します。
出典: MarkTechPost —
原文
