Ensimmäinen työpöytäagentti, joka ylittää 90 %:n onnistumisasteen: Mallipinoamisesta insinöörityöhön, Shiai Agent huipulla OSWorldissa
Kiinalaisen tiimin kehittämä Shiai Agent saavutti 90,2 %:n onnistumisasteen OSWorld-vertailussa, sijoittuen ensimmäiseksi kokonaisuudessaan ja agenttiviitekehyksen kategoriassa. Tämä rikkoo maailmanennätyksen Computer-Use Agent -arvioinnissa, tehden siitä ensimmäisen agentin, joka ylittää 90 %:n tarkkuuden.
27. heinäkuuta OSWorld päivitti rankingiaan. Shiai Agent saavutti 90,2 prosentin onnistumisasteen ja 325,59 pistettä, noustuaan kärkeen sekä kokonais- että Agentic Framework -alaluokituksissa. Se asetti uuden maailmanennätyksen Computer-Use Agentin julkisessa arvioinnissa ja on ensimmäinen työpöytäkäyttöagentti, joka ylitti 90 prosentin onnistumisasteen. OSWorld on vertailuarvo, joka testaa agentteja todellisissa Ubuntu-ympäristöissä 361 tehtävän avulla, arvioiden havainnointia, pitkän aikavälin suunnittelua, useiden ohjelmistojen koordinointia ja järjestelmätoimintoja. Aiemmin tässä vertailussa on testattu GPT-, Gemini- ja Claude-malleja. Alan edistyminen nousi 12,2 prosentista vuonna 2024 72,6 prosenttiin vuonna 2025 ja 83,6 prosenttiin toukokuussa 2026. Shiai Agentin 90,2 prosentin läpimurto ylitti tekniset pullonkaulat. Agentti loistaa sovellusten välisessä koordinoinnissa (93 tehtävää), GIMP-kuvankäsittelyssä (92,3 prosentin onnistumisaste 26 tehtävässä) ja järjestelmätason toiminnoissa (24 tehtävää ilman virheitä). Tiimi selittää menestyksen tekniikalla eikä mallin hienosäädöllä. Vuonna 2018 perustettu Shiai Intelligent rakensi multimodaalisen Harness-järjestelmän, joka käyttää ohjelmointirajapintoja (API) niiden ollessa saatavilla ja graafisen käyttöliittymän toimintoja muulloin, ja joka on koulutettu yritystason tiedoilla. Yritys suunnittelee parantavansa luotettavuutta 99,99 prosenttiin, tehostavansa dynaamiseen ympäristöön sopeutumista ja ottavansa käyttöön reunalaskun ja pilven hybridiaikataulutuksen tuotantokäyttöön.
Lähde: InfoQ 中国 —
Alkuperäinen