Ensimmäinen työpöytäagentti ylittää 90 %:n onnistumisasteen: Mallipinoamisesta suunnitteluun – Shiai Agent huipulla OSWorldissa
Kiinalaisen tiimin kehittämä Shiai Agent saavutti 90,2 %:n onnistumisasteen OSWorld-vertailussa, sijoittuen kokonaiskilpailun ja Agentic Framework -kategorian ykköseksi. Tämä rikkoo Computer-Use Agent -arvioinnin maailmanennätyksen, ja se on ensimmäinen agentti, joka ylittää 90 prosentin tarkkuuden.
27. heinäkuuta OSWorld päivitti rankingiaan. Shiai Agent saavutti 90,2 prosentin onnistumisasteen ja 325,59 pistettä, noustuaan kärkeen sekä kokonais- että Agentic Framework -alaluokituksissa. Se asetti uuden maailmanennätyksen Computer-Use Agentin julkisessa arvioinnissa ja on ensimmäinen työpöytäkäyttöagentti, joka ylitti 90 prosentin onnistumisasteen. OSWorld on vertailuarvo, joka testaa agentteja todellisissa Ubuntu-ympäristöissä 361 tehtävän avulla, arvioiden havainnointia, pitkän aikavälin suunnittelua, useiden ohjelmistojen koordinointia ja järjestelmätoimintoja. Aiemmin tässä vertailussa on testattu GPT-, Gemini- ja Claude-malleja. Alan edistyminen nousi 12,2 prosentista vuonna 2024 72,6 prosenttiin vuonna 2025 ja 83,6 prosenttiin toukokuussa 2026. Shiai Agentin 90,2 prosentin läpimurto ylitti tekniset pullonkaulat. Agentti loistaa sovellusten välisessä koordinoinnissa (93 tehtävää), GIMP-kuvankäsittelyssä (92,3 prosentin onnistumisaste 26 tehtävässä) ja järjestelmätason toiminnoissa (24 tehtävää ilman virheitä). Tiimi selittää menestyksen tekniikalla eikä mallin hienosäädöllä. Vuonna 2018 perustettu Shiai Intelligent rakensi multimodaalisen Harness-järjestelmän, joka käyttää ohjelmointirajapintoja (API) niiden ollessa saatavilla ja graafisen käyttöliittymän toimintoja muulloin, ja joka on koulutettu yritystason tiedoilla. Yritys suunnittelee parantavansa luotettavuutta 99,99 prosenttiin, tehostavansa dynaamiseen ympäristöön sopeutumista ja ottavansa käyttöön reunalaskun ja pilven hybridiaikataulutuksen tuotantokäyttöön.
Lähde: InfoQ 中国 —
Alkuperäinen