Why It's Hard for a Humanoid to Grasp Moving Objects: Developing VLA for Dynamic Environments

MTC Web Services mühendislerinden Daniya, insansı robotların nesnelerin konveyör bant üzerinde hareket ettiği dinamik ortamlarda neden zorlandığını açıklıyor. Statik koşullarda modern VLA (Vision-Language-Action) modelleri yüksek kontrol kalitesi sergilerken, dinamikte üç temel sorun ortaya çıkar: gözlem ile eylem arasındaki gecikme (kameradan görüntü, işleme, komut gönderme onlarca milisaniye sürer ve bu sürede nesne kayar), önceden hesaplanmış eylem dizilerinin (action chunk) güncelliğini yitirmesi ve tek bir kareyi analiz ederken (hız ve hareket yönü belirlenemez) bilgi eksikliği. Bu sorunları çözmek için modeller, kare dizilerini analiz etmeye, eylemleri sürekli güncellemeye ve fiziksel sinyalleri (eklem konumları, dokunsal veriler) dikkate almaya geçiyor. İnsansı robot, sabit bir manipülatörden daha karmaşıktır çünkü kol hareketi gövde dengesini etkiler; kollar, gövde ve bacak hareketlerini koordine eden bütün vücut kontrolü (whole-body control) gerekir. MWS'nin Ar-Ge bölümünde, birden fazla bilgi akışını (hareket, bağlam, fizik, eylemler) işleyen ve Unitree G1 insansı robotuyla çalışan RLDX-1 mimarisine dayalı bütün vücut dinamik VLA (whole-body dynamic VLA) geliştirilmektedir. Amaç, robota konveyör bant üzerindeki parçaları yakalamayı öğretmek, bunların yörüngesini tahmin etmek, hareketleri senkronize etmek ve dengeyi korumaktır.