पहला डेस्कटॉप ऑपरेशन एजेंट जिसने 90% सफलता दर को पार किया: मॉडल स्टैकिंग से इंजीनियरिंग तक, Shiai Agent ने OSWorld में शीर्ष स्थान प्राप्त किया
एक चीनी टीम द्वारा विकसित Shiai Agent ने OSWorld बेंचमार्क पर 90.2% की सफलता दर हासिल की, जो समग्र और Agentic Framework श्रेणी में प्रथम स्थान पर रही। यह Computer-Use Agent मूल्यांकन के वैश्विक रिकॉर्ड को तोड़ता है, जिससे यह 90% सटीकता को पार करने वाला पहला एजेंट बन गया।
27 जुलाई को OSWorld ने अपनी लीडरबोर्ड अपडेट की। Shiai Agent ने 90.2% की समग्र सफलता दर और 325.59 अंक हासिल किए, जो समग्र और एजेंटिक फ्रेमवर्क दोनों उप-रैंकिंग में शीर्ष पर रहा। इसने कंप्यूटर-यूज़ एजेंट के सार्वजनिक मूल्यांकन में एक नया वैश्विक रिकॉर्ड स्थापित किया, और 90% से अधिक सफलता दर प्राप्त करने वाला पहला डेस्कटॉप ऑपरेशन एजेंट बन गया। OSWorld एक बेंचमार्क है जो वास्तविक उबंटू वातावरण में 361 कार्यों के माध्यम से एजेंटों का परीक्षण करता है, जिसमें धारणा, दीर्घ-क्षितिज योजना, बहु-सॉफ्टवेयर समन्वय और सिस्टम संचालन का मूल्यांकन किया जाता है। पहले GPT, जेमिनी और क्लॉड मॉडल का इस बेंचमार्क पर परीक्षण किया गया था। उद्योग की प्रगति 2024 में 12.2% से बढ़कर 2025 में 72.6% और मई 2026 में 83.6% हो गई। Shiai Agent की 90.2% की सफलता ने तकनीकी बाधाओं को पार कर लिया। एजेंट क्रॉस-एप समन्वय (93 कार्य), जीआईएमपी इमेज प्रोसेसिंग (26 कार्यों पर 92.3% सफलता), और सिस्टम-स्तरीय संचालन (24 कार्यों में शून्य त्रुटि) में उत्कृष्ट प्रदर्शन करता है। टीम सफलता का श्रेय मॉडल ट्यूनिंग के बजाय इंजीनियरिंग को देती है। 2018 में स्थापित Shiai Intelligent ने एक मल्टीमॉडल हार्नेस सिस्टम बनाया, जो उपलब्ध होने पर Application Programming Interface का उपयोग करता है और अन्यथा ग्राफिकल यूज़र इंटरफ़ेस संचालन पर निर्भर करता है, जिसे एंटरप्राइज़-स्तरीय डेटा पर प्रशिक्षित किया गया। कंपनी विश्वसनीयता को 99.99% तक सुधारने, गतिशील वातावरण अनुकूलन को बढ़ाने, और उत्पादन उपयोग के लिए एज-क्लाउड हाइब्रिड शेड्यूलिंग तैनात करने की योजना बना रही है।
स्रोत: InfoQ 中国 —
मूल