Agen Desktop Pertama yang Tembus 90% Tingkat Keberhasilan: Dari Model Stacking hingga Rekayasa, Shiai Agent Puncaki OSWorld
Shiai Agent, yang dikembangkan oleh tim asal Tiongkok, mencapai tingkat keberhasilan 90,2% pada tolok ukur OSWorld, menempati peringkat pertama secara keseluruhan dan dalam kategori Kerangka Agen. Ini memecahkan rekor global untuk evaluasi Computer-Use Agent, menjadikannya agen pertama yang melampaui akurasi 90%.
Pada 27 Juli, OSWorld memperbarui papan peringkatnya. Shiai Agent mencapai tingkat keberhasilan keseluruhan 90,2% dengan 325,59 poin, menduduki puncak peringkat keseluruhan dan sub-peringkat Kerangka Agen. Ini menetapkan rekor global baru untuk evaluasi publik Computer-Use Agent, menjadi agen operasi desktop pertama yang melebihi 90% keberhasilan. OSWorld adalah tolok ukur yang menguji agen di lingkungan Ubuntu nyata pada 361 tugas, mengevaluasi persepsi, perencanaan jangka panjang, koordinasi multi-perangkat lunak, dan operasi sistem. Sebelumnya, model GPT, Gemini, dan Claude telah diuji pada tolok ukur ini. Kemajuan industri naik dari 12,2% pada tahun 2024 menjadi 72,6% pada tahun 2025, dan 83,6% pada Mei 2026. Terobosan Shiai Agent sebesar 90,2% mengatasi hambatan teknis. Agen ini unggul dalam koordinasi antar-aplikasi (93 tugas), pemrosesan gambar GIMP (92,3% keberhasilan pada 26 tugas), dan operasi tingkat sistem (24 tugas tanpa kesalahan). Tim mengaitkan keberhasilan pada rekayasa daripada penyesuaian model. Shiai Intelligent, didirikan pada tahun 2018, membangun sistem Harness multimodal yang menggunakan API jika tersedia dan operasi GUI jika tidak, dilatih pada data skala perusahaan. Perusahaan berencana untuk meningkatkan keandalan hingga 99,99%, meningkatkan adaptasi lingkungan yang dinamis, dan menerapkan penjadwalan hibrida tepi-awan untuk penggunaan produksi.
Sumber: InfoQ 中国 —
asli