Echoverse: コンピュータエージェント訓練のための深い進化的環境

マイクロソフトリサーチは、コンピューター操作エージェントを訓練するための12個の合成世界からなるコレクション「Echoverse」を開発した。これには10個の深層ドメインワールドと2個の能力ワールドが含まれる。これらの世界は、一貫した状態と現実的なデータを持つ実際のアプリケーションの動作を再現し、エージェントが真の結果から学習できるようにする。全12ワールドで9Bモデルを訓練したところ、スコアが36.5%から67.1%に向上し、GPT-5.4のパフォーマンスに迫った。主な発見として、高いシミュレーションの忠実度の必要性、デートピッカーのような難しいユーザーインターフェース要素を重点的に訓練する効果、モデル・世界・検証器を共進化させる利点が挙げられる。基盤となる検証器を報酬として用いた強化学習は、模倣学習よりも優れた成果を上げた。マイクロソフトは、さらなる研究を支援するため、コード、データ、評価器とともに4つのワールドを公開する予定である。