Mengapa humanoid kesulitan menggenggam benda bergerak: mengembangkan VLA untuk lingkungan dinamis

Sebagian besar demonstrasi robot saat ini terjadi di lingkungan statis dengan pencahayaan stabil dan kamera tetap, di mana model VLA berkinerja baik. Namun, tugas di dunia nyata sering kali melibatkan objek bergerak, seperti barang di atas ban berjalan. Ketika robot humanoid berukuran penuh berinteraksi dengan objek bergerak, ia juga harus berjalan dan menjaga keseimbangan, yang mempersulit perhitungan gerakan. Tantangan utamanya meliputi latensi antara pengamatan dan tindakan, potongan aksi yang usang, dan ketidakmampuan untuk menentukan kecepatan objek dari satu gambar. Model-model terkini seperti DynamicVLA mengatasi masalah ini dengan memperbarui aksi lebih sering dan mempertimbangkan waktu. Untuk humanoid, kontrol seluruh tubuh sangat penting karena gerakan lengan memengaruhi keseimbangan tubuh. Arsitektur RLDX-1 memproses beberapa aliran informasi (gerakan, memori, fisika, aksi) untuk meningkatkan manipulasi dinamis. Di MTS Web Services, penulis mengadaptasi RLDX-1 untuk mengendalikan humanoid Unitree G1 dalam menggenggam secara dinamis seluruh tubuh barang di atas ban berjalan, memperlakukan tugas sebagai loop tertutup: amati, prediksi, cegat, eksekusi, verifikasi, koreksi.