Echoverse: Môi trường tiến hóa sâu để huấn luyện tác nhân sử dụng máy tính

Microsoft Research đã phát triển Echoverse, một bộ sưu tập gồm mười hai thế giới ảo để huấn luyện các tác nhân sử dụng máy tính, bao gồm mười thế giới chuyên sâu theo lĩnh vực và hai thế giới năng lực. Các thế giới này tái tạo hành vi ứng dụng thực tế với trạng thái nhất quán và dữ liệu thực tế, cho phép các tác nhân học từ các hậu quả thực tế. Việc huấn luyện một mô hình 9B trên tất cả mười hai thế giới đã cải thiện điểm số từ 36,5% lên 67,1%, tiệm cận hiệu suất của GPT-5.4. Các phát hiện chính bao gồm sự cần thiết của độ trung thực mô phỏng cao, hiệu quả của việc tập trung vào các thành phần giao diện khó như bộ chọn ngày, và lợi ích của việc đồng tiến hóa giữa mô hình, thế giới và công cụ đánh giá. Học tăng cường sử dụng các công cụ đánh giá dựa trên thực tế làm phần thưởng vượt trội hơn học bắt chước. Microsoft đang phát hành bốn thế giới kèm mã nguồn, dữ liệu và bộ đánh giá để hỗ trợ nghiên cứu sâu hơn.