%90 Başarı Oranını Aşan İlk Masaüstü İşlem Ajanı: Model İstiflemeden Mühendisliğe, Shiai Ajanı OSWorld'de Zirvede
Bir Çin ekibi tarafından geliştirilen Shiai Ajanı, OSWorld kıyaslamasında %90,2 başarı oranı elde ederek genel sıralamada ve Ajanlık Çerçeve kategorisinde birinci oldu. Bu, Bilgisayar Kullanımı Ajan değerlendirmesinde dünya rekorunu kırarak %90 doğruluğu aşan ilk ajan oldu.
27 Temmuz'da OSWorld liderlik tablosunu güncelledi. Shiai Agent, yüzde 90,2'lik genel başarı oranı ve 325,59 puanla hem genel hem de Agentic Framework alt sıralamalarında zirveye yerleşti. Bilgisayar Kullanım Ajanı (Computer-Use Agent) kamu değerlendirmesinde yeni bir küresel rekora imza atarak yüzde 90'ın üzerinde başarı elde eden ilk masaüstü operasyon ajanı oldu. OSWorld, ajanları gerçek Ubuntu ortamlarında 361 görev üzerinde test eden, algılama, uzun vadeli planlama, çoklu yazılım koordinasyonu ve sistem operasyonlarını değerlendiren bir kıyaslama aracıdır. Daha önce GPT, Gemini ve Claude modelleri bu kıyaslamada test edilmişti. Sektör ilerlemesi 2024'teki yüzde 12,2'den 2025'te yüzde 72,6'ya ve Mayıs 2026'da yüzde 83,6'ya yükseldi. Shiai Agent'ın yüzde 90,2'lik atılımı teknik darboğazları aştı. Ajan, uygulamalar arası koordinasyonda (93 görev), GIMP görüntü işlemede (26 görevde yüzde 92,3 başarı) ve sistem düzeyindeki işlemlerde (24 görevde sıfır hata) üstün performans gösterdi. Ekip başarıyı model ayarlamaktan ziyade mühendisliğe bağlıyor. 2018 yılında kurulan Shiai Intelligent, mevcut olduğunda API'leri, aksi halde grafik kullanıcı arayüzü (GUI) işlemlerini kullanan, kurumsal ölçekli verilerle eğitilmiş çok modlu bir Harness sistemi geliştirdi. Şirket, güvenilirliği yüzde 99,99'a çıkarmayı, dinamik ortam adaptasyonunu geliştirmeyi ve üretim kullanımı için uç-bulut hibrit planlama dağıtmayı planlıyor.
Kaynak: InfoQ 中国 —
orijinal