Waarom het moeilijk is voor een humanoïde om bewegende objecten te grijpen: VLA ontwikkelen voor dynamische omgevingen

ML-ingenieur bij MTC Web Services Daniya legt uit waarom humanoïde robots moeite hebben met werken in een dynamische omgeving, bijvoorbeeld wanneer objecten over een transportband bewegen. In statische omstandigheden leveren moderne VLA-modellen (Vision-Language-Action) hoge kwaliteit van aansturing, maar in dynamische situaties doen zich drie hoofdproblemen voor: vertraging tussen waarneming en actie (beeld van de camera, verwerking, verzenden van commando’s duurt tientallen milliseconden, waarin het object verschuift), veroudering van vooraf berekende actiereeksen (action chunk), en gebrek aan informatie bij analyse van één enkel frame (snelheid en bewegingsrichting kunnen niet worden bepaald). Om deze problemen op te lossen, schakelen modellen over op analyse van beeldreeksen, continue update van acties en meenemen van fysieke signalen (gewrichtsposities, tactiele data). Een humanoïde robot is complexer dan een stationaire manipulator, omdat beweging van de arm het evenwicht van het lichaam beïnvloedt; whole-body control is nodig, die bewegingen van armen, romp en benen op elkaar afstemt. In RnD MWS ontwikkelen ze een whole-body dynamic VLA op basis van de RLDX-1 architectuur, die meerdere informatiestromen verwerkt (beweging, context, fysica, acties) en werkt met de humanoïde Unitree G1. De taak is om de robot te leren onderdelen van een transportband te pakken, door hun traject te voorspellen, bewegingen te synchroniseren en het evenwicht te bewaren.