데스크톱 운영 에이전트 최초 90% 성공률 돌파: 모델 스태킹부터 엔지니어링까지, Shiai Agent가 OSWorld 1위
중국 팀이 개발한 Shiai Agent가 OSWorld 벤치마크에서 90.2%의 성공률을 달성하며 전체 및 Agentic Framework 부문 1위를 차지했습니다. 이는 Computer-Use Agent 평가의 글로벌 기록을 경신한 것으로, 90% 정확도를 넘긴 첫 번째 에이전트입니다.
7월 27일, OSWorld가 리더보드를 업데이트했습니다. Shiai Agent는 325.59점으로 90.2%의 전체 성공률을 기록하며 종합 및 Agentic Framework 하위 순위에서 1위를 차지했습니다. 이는 Computer-Use Agent 공개 평가에서 새로운 글로벌 기록을 세운 것으로, 90% 이상의 성공률을 달성한 최초의 데스크톱 운영 에이전트가 되었습니다. OSWorld는 실제 우분투 환경에서 361개의 작업을 통해 에이전트를 테스트하는 벤치마크로, 지각, 장기 계획, 멀티 소프트웨어 조정, 시스템 운영을 평가합니다. 이전에는 GPT, Gemini, Claude 모델이 이 벤치마크에서 테스트되었습니다. 업계의 진보는 2024년 12.2%에서 2025년 72.6%, 2026년 5월에는 83.6%로 상승했습니다. Shiai Agent의 90.2% 돌파는 기술적 병목을 극복했습니다. 이 에이전트는 교차 앱 조정(93개 작업), GIMP 이미지 처리(26개 작업에서 92.3% 성공), 시스템 수준 운영(24개 작업에서 오류 제로)에서 뛰어납니다. 팀은 성공 요인을 모델 튜닝보다 엔지니어링에 있다고 봅니다. 2018년 설립된 Shiai Intelligent은 멀티모달 Harness 시스템을 구축했으며, 이 시스템은 사용 가능한 경우 API를, 그렇지 않으면 GUI 작업을 사용하고 엔터프라이즈 규모의 데이터로 훈련되었습니다. 이 회사는 신뢰성을 99.99%로 개선하고 동적 환경 적응을 강화하며, 생산용으로 엣지-클라우드 하이브리드 스케줄링을 배포할 계획입니다.
출처: InfoQ 中国 —
원문