Why It's Hard for a Humanoid to Grasp Moving Objects: Developing VLA for Dynamic Environments

Insinyur ML MTC Web Services Daniya menjelaskan mengapa robot humanoid sulit bekerja di lingkungan dinamis, misalnya ketika objek bergerak di atas konveyor. Dalam kondisi statis, model Vision-Language-Action (VLA) modern menunjukkan kualitas kontrol yang tinggi, namun dalam kondisi dinamis muncul tiga masalah utama: jeda antara observasi dan aksi (gambar dari kamera, pemrosesan, pengiriman perintah membutuhkan puluhan milidetik, selama itu objek telah bergeser), usangnya rangkaian aksi yang telah dihitung sebelumnya (action chunk), dan kurangnya informasi saat menganalisis satu bingkai (tidak dapat menentukan kecepatan dan arah gerakan). Untuk mengatasi masalah ini, model beralih ke analisis rangkaian bingkai, pembaruan aksi secara terus-menerus, dan mempertimbangkan sinyal fisik (posisi sendi, data taktil). Humanoid lebih kompleks daripada manipulator stasioner, karena pergerakan lengan mempengaruhi keseimbangan tubuh; diperlukan whole-body control yang menyelaraskan gerakan lengan, tubuh, dan kaki. Di RnD MWS, mereka mengembangkan whole-body dynamic VLA berdasarkan arsitektur RLDX-1, yang memproses beberapa aliran informasi (gerakan, konteks, fisika, aksi) dan bekerja dengan humanoid Unitree G1. Tugasnya adalah mengajari robot untuk mengambil komponen di atas konveyor, memprediksi lintasannya, menyinkronkan gerakan, dan menjaga keseimbangan.