Echoverse: Ambientes Profundos em Evolução para Treinamento de Agentes de Uso de Computador

A Microsoft Research desenvolveu o Echoverse, uma coleção de doze mundos sintéticos para treinar agentes de uso de computador, compreendendo dez mundos de domínio profundo e dois mundos de capacidade. Esses mundos replicam o comportamento real de aplicativos com estado coerente e dados realistas, permitindo que os agentes aprendam com consequências genuínas. O treinamento de um modelo de 9 bilhões de parâmetros em todos os doze mundos melhorou sua pontuação de 36,5% para 67,1%, aproximando-se do desempenho do GPT-4.5 (Generative Pre-trained Transformer 4.5). As principais descobertas incluem a necessidade de alta fidelidade de simulação, a eficácia de focar em elementos de interface desafiadores, como seletores de data, e os benefícios da coevolução do modelo, do mundo e do verificador. O aprendizado por reforço usando verificadores fundamentados como recompensas superou o aprendizado por imitação. A Microsoft está disponibilizando quatro mundos com código, dados e avaliadores para apoiar pesquisas futuras.