Primeiro agente de operação de desktop a superar 90% de taxa de sucesso: do empilhamento de modelos à engenharia, Shiai Agent lidera OSWorld
O Shiai Agent, desenvolvido por uma equipe chinesa, alcançou uma taxa de sucesso de 90,2% no benchmark OSWorld, ficando em primeiro lugar geral e na categoria Agentic Framework. Isso quebra o recorde global de avaliação de Computer-Use Agent, tornando-o o primeiro agente a superar 90% de precisão.
Em 27 de julho, o OSWorld atualizou seu ranking. O Shiai Agent alcançou uma taxa de sucesso geral de 90,2% com 325,59 pontos, liderando tanto a classificação geral quanto a subcategoria Agentic Framework. Ele estabeleceu um novo recorde global para avaliação pública de Computer-Use Agent, tornando-se o primeiro agente de operação de desktop a ultrapassar 90% de sucesso. O OSWorld é um benchmark que testa agentes em ambientes Ubuntu reais em 361 tarefas, avaliando percepção, planejamento de longo prazo, coordenação multi-software e operações de sistema. Anteriormente, modelos como GPT, Gemini e Claude foram testados neste benchmark. O progresso da indústria subiu de 12,2% em 2024 para 72,6% em 2025, e 83,6% em maio de 2026. O avanço de 90,2% do Shiai Agent superou gargalos técnicos. O agente se destaca na coordenação entre aplicativos (93 tarefas), processamento de imagens no GIMP (92,3% de sucesso em 26 tarefas) e operações em nível de sistema (24 tarefas com zero erros). A equipe atribui o sucesso à engenharia em vez do ajuste de modelos. A Shiai Intelligent, fundada em 2018, construiu um sistema multimodal Harness que usa Application Programming Interfaces (APIs) quando disponíveis e operações de Graphical User Interface (GUI) caso contrário, treinado em dados em escala empresarial. A empresa planeja melhorar a confiabilidade para 99,99%, aprimorar a adaptação a ambientes dinâmicos e implantar escalonamento híbrido edge-cloud para uso em produção.
Fonte: InfoQ 中国 —
original