Vijf topuniversiteiten lanceren eerste benchmark voor robotische driedimensionale wereldmodellen
Een consortium van vijf toonaangevende Chinese universiteiten heeft het eerste klassement voor driedimensionale wereldmodellen in de robotica uitgebracht, genaamd TriWorldBench Challenge. De benchmark evalueert modellen op multiview-consistentie, taakuitvoering en fysisch begrip, waarbij vroege resultaten laten zien dat CASIA-DRL, TONGJI Spatial Intelligence Team en Fysics AI de leiding nemen.
De TriWorldBench Challenge, gezamenlijk geïnitieerd door de Universiteit van Peking, de Tsinghua Universiteit, de Beihang Universiteit, de Shanghai Jiao Tong Universiteit en de Universiteit voor Wetenschap en Technologie van China, heeft zijn eerste wekelijkse ranglijst gepubliceerd. Het is de eerste evaluatiebenchmark voor wereldmodellen met drie aanzichten in de robotica, met als doel een uitgebreider evaluatiesysteem voor belichaamde wereldmodellen te vestigen en deze van 'visuele generatie' naar 'wereldbegrip' te duwen. De benchmark evalueert modellen op multi-view consistentie, taakuitvoering en fysiek ruimtebegrip, en staat open voor wereldwijde onderzoeksteams. In de eerste week namen de modellen WoVR_Plus van CASIA-DRL, BetaBWM van TONGJI Spatial Intelligence Team en Fysiverse-Video van Fysics AI de top drie posities in. De benchmark richt zich op videogeneratie en -begrip vanuit hoofdaanzicht, linkermouwenaanzicht en rechtermouwenaanzicht. Het gebruikt 500 drie-view synchrone episodes die 50 robotmanipulatietaken omvatten, en aggregeert 19 evaluatiesignalen over zes dimensies tot een totaalscore genaamd TWB-Score. Het systeem construeert ook STATE-annotaties op basis van referentietrajecten om beweging en stilstand te evalueren. De ranglijst wordt regelmatig bijgewerkt en de organisatoren moedigen wereldwijde deelname aan via de officiële website en de GitHub-repository.
Bron: QbitAI 量子位 —
origineel