Premier agent de bureau à franchir le seuil des 90 % de succès : de l'empilement de modèles à l'ingénierie, l'agent Shiai domine OSWorld
L'agent Shiai, développé par une équipe chinoise, a atteint un taux de succès de 90,2 % sur le benchmark OSWorld, se classant premier au classement général et dans la catégorie « Agentic Framework ». Cela bat le record mondial pour l'évaluation des agents informatiques (Computer-Use Agent), ce qui en fait le premier agent à dépasser les 90 % de précision.
Le 27 juillet, OSWorld a mis à jour son classement. Shiai Agent a atteint un taux de réussite global de 90,2 % avec 325,59 points, se hissant en tête des sous-classements général et Agentic Framework. Il a établi un nouveau record mondial pour l'évaluation publique d'un agent d'utilisation d'ordinateur, devenant le premier agent de bureau à dépasser les 90 % de succès. OSWorld est un benchmark qui teste les agents dans des environnements Ubuntu réels à travers 361 tâches, évaluant la perception, la planification à long terme, la coordination multi-logiciels et les opérations système. Auparavant, les modèles GPT, Gemini et Claude avaient été testés sur ce benchmark. Les progrès de l'industrie sont passés de 12,2 % en 2024 à 72,6 % en 2025, puis 83,6 % en mai 2026. La percée à 90,2 % de Shiai Agent a surmonté des goulots d'étranglement techniques. L'agent excelle dans la coordination inter-applications (93 tâches), le traitement d'images GIMP (92,3 % de succès sur 26 tâches) et les opérations au niveau système (24 tâches sans erreur). L'équipe attribue le succès à l'ingénierie plutôt qu'au réglage du modèle. Shiai Intelligent, fondée en 2018, a construit un système multimodal Harness qui utilise les API lorsque disponibles et les opérations GUI sinon, entraîné sur des données à l'échelle des entreprises. L'entreprise prévoit d'améliorer la fiabilité à 99,99 %, d'améliorer l'adaptation dynamique à l'environnement et de déployer un ordonnancement hybride edge-cloud pour une utilisation en production.
Source: InfoQ 中国 —
original