初のデスクトップ操作エージェントが成功率90%を突破：モデルスタッキングからエンジニアリングまで、Shiai AgentがOSWorldでトップに

7月27日、OSWorldはリーダーボードを更新しました。Shiai Agentは90.2%の総合成功率と325.59ポイントを達成し、総合およびAgentic Frameworkサブランキングの両方でトップになりました。これはComputer-Use Agent公開評価で新たな世界記録を樹立し、成功率90%超えを達成した初のデスクトップ操作エージェントとなりました。OSWorldは、実際のUbuntu環境で361のタスクを通じてエージェントをテストし、知覚、長期計画、マルチソフトウェア連携、およびシステム操作を評価するベンチマークです。これまでに、GPT、Gemini、Claudeモデルがこのベンチマークでテストされていました。業界の進歩は、2024年の12.2%から2025年には72.6%、2026年5月には83.6%に上昇しました。Shiai Agentの90.2%という飛躍的な成果は、技術的ボトルネックを克服しました。このエージェントは、アプリ間連携（93タスク）、GIMP画像処理（26タスクで92.3%の成功率）、およびシステムレベルの操作（24タスクでエラー0）で優れています。チームは、成功の要因をモデル調整ではなくエンジニアリングに帰しています。2018年に設立されたShiai Intelligentは、マルチモーダルHarnessシステムを構築し、利用可能な場合はAPIを、それ以外の場合はGUI操作を使用し、エンタープライズ規模のデータでトレーニングを行っています。同社は、信頼性を99.99%に向上させ、動的環境適応を強化し、エッジクラウドハイブリッドスケジューリングを本番環境に展開する計画です。