Premier agent de bureau à dépasser 90 % de réussite : du stacking de modèles à l'ingénierie, l'agent Shiai domine OSWorld
L'agent Shiai, développé par une équipe chinoise, a atteint un taux de réussite de 90,2 % sur le benchmark OSWorld, se classant premier au classement général et dans la catégorie Agentic Framework. Cela bat le record mondial d'évaluation des agents d'utilisation informatique, faisant de lui le premier agent à dépasser les 90 % de précision.
Le 27 juillet, OSWorld a mis à jour son classement. Shiai Agent a atteint un taux de réussite global de 90,2 % avec 325,59 points, se hissant en tête des sous-classements général et Agentic Framework. Il a établi un nouveau record mondial pour l'évaluation publique d'un agent d'utilisation d'ordinateur, devenant le premier agent de bureau à dépasser les 90 % de succès. OSWorld est un benchmark qui teste les agents dans des environnements Ubuntu réels à travers 361 tâches, évaluant la perception, la planification à long terme, la coordination multi-logiciels et les opérations système. Auparavant, les modèles GPT, Gemini et Claude avaient été testés sur ce benchmark. Les progrès de l'industrie sont passés de 12,2 % en 2024 à 72,6 % en 2025, puis 83,6 % en mai 2026. La percée à 90,2 % de Shiai Agent a surmonté des goulots d'étranglement techniques. L'agent excelle dans la coordination inter-applications (93 tâches), le traitement d'images GIMP (92,3 % de succès sur 26 tâches) et les opérations au niveau système (24 tâches sans erreur). L'équipe attribue le succès à l'ingénierie plutôt qu'au réglage du modèle. Shiai Intelligent, fondée en 2018, a construit un système multimodal Harness qui utilise les API lorsque disponibles et les opérations GUI sinon, entraîné sur des données à l'échelle des entreprises. L'entreprise prévoit d'améliorer la fiabilité à 99,99 %, d'améliorer l'adaptation dynamique à l'environnement et de déployer un ordonnancement hybride edge-cloud pour une utilisation en production.
Source: InfoQ 中国 —
original