Eerste desktop-operatieagent die 90% succespercentage doorbreekt: van modelstacking tot engineering, Shiai Agent bovenaan OSWorld
De Shiai Agent, ontwikkeld door een Chinees team, behaalde een succespercentage van 90,2% op de OSWorld-benchmark en staat daarmee op de eerste plaats overall en in de categorie Agentic Framework. Dit verbreekt het wereldrecord voor Computer-Use Agent-evaluatie en maakt het de eerste agent die de 90% nauwkeurigheid overtreft.
Op 27 juli heeft OSWorld zijn ranglijst bijgewerkt. Shiai Agent behaalde een algemeen slagingspercentage van 90,2% met 325,59 punten en stond bovenaan zowel het algemene als het Agentic Framework-klassement. Het vestigde een nieuw wereldrecord voor de publieke evaluatie van Computer-Use Agent en werd de eerste desktop-operatieagent die de 90% succes grens overschreed. OSWorld is een benchmark die agenten test in echte Ubuntu-omgevingen met 361 taken, waarbij perceptie, langetermijnplanning, coördinatie over meerdere software en systeemoperaties worden geëvalueerd. Eerder werden modellen van GPT, Gemini en Claude op deze benchmark getest. De vooruitgang in de sector steeg van 12,2% in 2024 naar 72,6% in 2025 en naar 83,6% in mei 2026. Shiai Agent's doorbraak van 90,2% overwon technische knelpunten. De agent blinkt uit in cross-app-coördinatie (93 taken), GIMP-beeldverwerking (92,3% succes bij 26 taken) en systeemoperaties (24 taken zonder fouten). Het team schrijft het succes toe aan engineering boven modelafstemming. Shiai Intelligent, opgericht in 2018, bouwde een multimodaal Harness-systeem dat API's gebruikt wanneer beschikbaar en anders GUI-operaties, getraind op enterprise-schaaldata. Het bedrijf is van plan de betrouwbaarheid te verbeteren naar 99,99%, de aanpassing aan dynamische omgevingen te verbeteren en edge-cloud hybride planning te implementeren voor productiegebruik.
Bron: InfoQ 中国 —
origineel