Tác nhân máy tính để bàn đầu tiên vượt tỷ lệ thành công 90%: Từ xếp chồng mô hình đến kỹ thuật, Shiai Agent đứng đầu OSWorld
Shiai Agent do một nhóm Trung Quốc phát triển đã đạt tỷ lệ thành công 90,2% trên chuẩn OSWorld, xếp hạng nhất tổng thể và trong hạng mục Agentic Framework. Điều này phá vỡ kỷ lục thế giới về đánh giá Computer-Use Agent, trở thành tác nhân đầu tiên vượt ngưỡng chính xác 90%.
Ngày 27 tháng 7, OSWorld đã cập nhật bảng xếp hạng của mình. Shiai Agent đạt tỷ lệ thành công tổng thể 90,2% với 325,59 điểm, đứng đầu cả bảng xếp hạng tổng thể và bảng xếp hạng phụ Agentic Framework. Nó đã thiết lập kỷ lục thế giới mới về đánh giá công khai Computer-Use Agent, trở thành tác nhân thao tác trên máy tính để bàn đầu tiên vượt quá 90% thành công. OSWorld là một chuẩn đánh giá (benchmark) kiểm tra các tác nhân trong môi trường Ubuntu thực tế qua 361 nhiệm vụ, đánh giá khả năng nhận thức, lập kế hoạch dài hạn, phối hợp đa phần mềm và vận hành hệ thống. Trước đây, các mô hình GPT, Gemini và Claude đã được thử nghiệm trên chuẩn đánh giá này. Tiến bộ trong ngành đã tăng từ 12,2% vào năm 2024 lên 72,6% vào năm 2025 và 83,6% vào tháng 5 năm 2026. Bước đột phá 90,2% của Shiai Agent đã vượt qua các nút thắt kỹ thuật. Tác nhân này xuất sắc trong việc phối hợp đa ứng dụng (93 nhiệm vụ), xử lý ảnh GIMP (92,3% thành công trên 26 nhiệm vụ) và vận hành cấp hệ thống (24 nhiệm vụ không lỗi). Nhóm nghiên cứu cho rằng thành công đến từ kỹ thuật hơn là tinh chỉnh mô hình. Shiai Intelligent, được thành lập vào năm 2018, đã xây dựng hệ thống Harness đa phương thức (multimodal Harness system) sử dụng giao diện lập trình ứng dụng (API) khi có sẵn và thao tác giao diện đồ họa người dùng (GUI) khi không, được huấn luyện trên dữ liệu quy mô doanh nghiệp. Công ty có kế hoạch cải thiện độ tin cậy lên 99,99%, tăng cường khả năng thích ứng với môi trường động và triển khai lập lịch lai biên-đám mây cho sử dụng sản xuất.
Nguồn: InfoQ 中国 —
bản gốc