Why It's Hard for a Humanoid to Grasp Moving Objects: Developing VLA for Dynamic Environments

ML-инженер MTC Web Services Дания объясняет, почему гуманоидным роботам сложно работать в динамической среде, например, когда объекты движутся по конвейеру. В статических условиях современные VLA (Vision-Language-Action) модели показывают высокое качество управления, но в динамике возникают три основные проблемы: задержка между наблюдением и действием (изображение с камеры, обработка, отправка команды занимают десятки миллисекунд, за которые объект смещается), устаревание заранее рассчитанных последовательностей действий (action chunk), и недостаток информации при анализе одного кадра (нельзя определить скорость и направление движения). Для решения этих проблем модели переходят к анализу последовательностей кадров, непрерывному обновлению действий и учёту физических сигналов (положение суставов, тактильные данные). Гуманоид сложнее стационарного манипулятора, так как движение руки влияет на баланс корпуса; требуется whole-body control, согласующий движения рук, корпуса и ног. В RnD MWS разрабатывают whole-body dynamic VLA на основе архитектуры RLDX-1, которая обрабатывает несколько потоков информации (движение, контекст, физику, действия) и работает с гуманоидом Unitree G1. Задача — научить робота захватывать детали на конвейере, предсказывая их траекторию, синхронизируя движения и сохраняя равновесие.