Erster Desktop-Betriebs-Agent durchbricht 90-Prozent-Erfolgsquote: Vom Modell-Stapeln bis zur Technik – Shiai Agent führt OSWorld an
Der von einem chinesischen Team entwickelte Shiai Agent erreichte eine Erfolgsquote von 90,2 Prozent auf dem OSWorld-Benchmark und belegte insgesamt sowie in der Kategorie „Agentic Framework“ den ersten Platz. Damit wird der globale Rekord für die Bewertung von Computer-Use Agents gebrochen, und es ist der erste Agent, der eine Genauigkeit von über 90 Prozent erreicht.
Am 27. Juli aktualisierte OSWorld seine Rangliste. Shiai Agent erreichte eine Gesamterfolgsquote von 90,2 Prozent mit 325,59 Punkten und belegte sowohl in der Gesamtwertung als auch im Unterranking „Agentic Framework“ den ersten Platz. Damit stellte es einen neuen globalen Rekord für die öffentliche Evaluierung von Computer-Use-Agenten auf und war der erste Desktop-Operationsagent, der die 90-Prozent-Erfolgsmarke überschritt. OSWorld ist ein Benchmark, der Agenten in realen Ubuntu-Umgebungen über 361 Aufgaben hinweg testet und dabei Wahrnehmung, langfristige Planung, Multi-Software-Koordination sowie Systemoperationen bewertet. Zuvor wurden auf diesem Benchmark Modelle wie GPT, Gemini und Claude getestet. Der Fortschritt der Branche stieg von 12,2 Prozent im Jahr 2024 auf 72,6 Prozent im Jahr 2025 und im Mai 2026 auf 83,6 Prozent. Der Durchbruch von Shiai Agent mit 90,2 Prozent überwand technische Engpässe. Der Agent zeichnet sich durch bereichsübergreifende Koordination (93 Aufgaben), GIMP-Bildverarbeitung (92,3 Prozent Erfolg bei 26 Aufgaben) und systemnahe Operationen (24 Aufgaben ohne Fehler) aus. Das Team führt den Erfolg auf technisches Engineering und nicht auf Modellabstimmung zurück. Shiai Intelligent, 2018 gegründet, entwickelte ein multimodales Harness-System, das bei Verfügbarkeit APIs nutzt und andernfalls auf GUI-Operationen zurückgreift, trainiert mit unternehmenseigenen Daten. Das Unternehmen plant, die Zuverlässigkeit auf 99,99 Prozent zu steigern, die Anpassung an dynamische Umgebungen zu verbessern und für den Produktionseinsatz ein hybrides Edge-Cloud-Scheduling zu implementieren.
Quelle: InfoQ 中国 —
Original