схемы сбора данных об окружающей среде с учётом человека версии 2.0, а сбор данных осуществляется с помощью движка ACE. ACE-Data-0 включает 17 миллионов видеокадров, 200 категорий задач, данные 50 участников, съёмки в 2 реальных домашних сценах и 75 000 сегментов взаимодействия, охватывающих атомарные взаимодействия человека с объектами, длительные цепочки бытовой активности и взаимодействия человека со средой. Данные синхронно фиксируются с помощью видео от первого лица, многоракурсного видео от третьего лица, движений всего тела и рук, траекторий объектов с шестью степенями свободы (six degrees of freedom, DoF), многоканального аудио и тактильных сигналов, причём все потоки выровнены по единой временной шкале и системе пространственных координат. Датасет использует две взаимодополняющие системы сбора: настольную систему для детальной фиксации взаимодействий рук с объектами и полнокомнатную систему для активности во всём помещении, с общей калибровкой и синхронизацией. В отличие от сценарного сбора данных, ACE-Data-0 использует инструкции на уровне целей, позволяя участникам свободно выбирать предметы, последовательность действий и маршруты, сохраняя естественные вариации, такие как паузы и возвраты к предыдущим действиям. На основе этого датасета Daxia создала трёхуровневый эталонный тест для оценки воплощённого восприятия, проверяющий модели по критериям определения контакта, восстановления состояния и понимания взаимодействия рук с объектами. Оценка более 30 репрезентативных методов показала значительные пробелы в возможностях моделей при обработке контактов, сильных перекрытий, собственного движения камеры, экстремальных ракурсов и долгосрочных задач. Датасет предназначен для поддержки имитационного обучения, мировых моделей, моделей типа «зрение-язык-действие»

Показать ещё ↓