BeingBeyond, 500.000 Saatlik Video ile Eğitilen İlk Örtülü Dokunsal Dünya-Eylem Modeli Being-H0.8'i Tanıttı

BeingBeyond, Being-H0.8'i tanıttı: insan video verilerinden oluşturulan ilk örtük dokunsal dünya-eylem modeli. Model, dokunsal modaliteyi gizli uzay temsiline dahil ederek önceki Being-H0.7 görsel dünya modelini genişletiyor. Etkileşim sonuçlarını tahmin etmek için bir Transformers Karışımı (Mixture of Transformers - MoT) kullanıyor; yürütme ve gerçek zamanlı ayarlama için yavaş-hızlı bir eylem uzmanı; dokunsal sinyalleri birleştirmek için Evrensel Dokunsal Kodlayıcı (Universal Tactile Encoder) ve insan ile robot eylem alanlarını hizalamak için TopoHand kullanıyor. Eğitim veri havuzu, temizlenip UniHand-3.0 veri setine dönüştürülen 500.000 saatten fazla birinci şahıs videosu içeriyor. Videolarda dokunsal etiket eksikliğini gidermek için BeingBeyond, görsel verilerden temas ve yakınlığı çıkarsamak üzere TactoHand'i geliştirdi; bu veriler gerçek basınçlı eldiven verileriyle desteklendi. Model, bir çantadan nesne çıkarma, fırçayla yazı yazma, diş macunu sıkma ve cips alma gibi görevleri yerine getiren çift kollu robotlar üzerinde test edildi ve dokunsal geri bildirim gerektiren hassas manipülasyonları idare edebildiğini gösterdi. BeingBeyond, Mayıs 2025'te Pekin Üniversitesi'nde doçent olan Lu Zongqing tarafından kuruldu ve üç aşamadan geçti: insan videosu eğitiminin fizibilitesinin kanıtlanması (Being-H0'dan H0.5'e), ölçeğin büyütülmesi (H0.5'ten H0.7'ye) ve şimdi veri kalitesinin iyileştirilmesi (H0.8).