Ensimmäinen työpöytäagentti, joka ylittää 90 %:n onnistumisasteen: Mallipinon rakentamisesta suunnitteluun, Shiai Agent sijoittuu OSWorldin kärkeen
Kiinalaisen tiimin kehittämä Shiai Agent saavutti 90,2 %:n onnistumisasteen OSWorld-vertailutestissä sijoittuen kokonaisuudessaan ja Agenttijärjestelmät-kategoriassa ensimmäiseksi. Tämä rikkoo tietokonekäyttäjäagenttien maailmanennätyksen ja tekee siitä ensimmäisen agentin, joka ylittää 90 %:n tarkkuuden.
27. heinäkuuta OSWorld päivitti rankingiaan. Shiai Agent saavutti 90,2 prosentin onnistumisasteen ja 325,59 pistettä, noustuaan kärkeen sekä kokonais- että Agentic Framework -alaluokituksissa. Se asetti uuden maailmanennätyksen Computer-Use Agentin julkisessa arvioinnissa ja on ensimmäinen työpöytäkäyttöagentti, joka ylitti 90 prosentin onnistumisasteen. OSWorld on vertailuarvo, joka testaa agentteja todellisissa Ubuntu-ympäristöissä 361 tehtävän avulla, arvioiden havainnointia, pitkän aikavälin suunnittelua, useiden ohjelmistojen koordinointia ja järjestelmätoimintoja. Aiemmin tässä vertailussa on testattu GPT-, Gemini- ja Claude-malleja. Alan edistyminen nousi 12,2 prosentista vuonna 2024 72,6 prosenttiin vuonna 2025 ja 83,6 prosenttiin toukokuussa 2026. Shiai Agentin 90,2 prosentin läpimurto ylitti tekniset pullonkaulat. Agentti loistaa sovellusten välisessä koordinoinnissa (93 tehtävää), GIMP-kuvankäsittelyssä (92,3 prosentin onnistumisaste 26 tehtävässä) ja järjestelmätason toiminnoissa (24 tehtävää ilman virheitä). Tiimi selittää menestyksen tekniikalla eikä mallin hienosäädöllä. Vuonna 2018 perustettu Shiai Intelligent rakensi multimodaalisen Harness-järjestelmän, joka käyttää ohjelmointirajapintoja (API) niiden ollessa saatavilla ja graafisen käyttöliittymän toimintoja muulloin, ja joka on koulutettu yritystason tiedoilla. Yritys suunnittelee parantavansa luotettavuutta 99,99 prosenttiin, tehostavansa dynaamiseen ympäristöön sopeutumista ja ottavansa käyttöön reunalaskun ja pilven hybridiaikataulutuksen tuotantokäyttöön.
Lähde: InfoQ 中国 —
Alkuperäinen