ByteDance представила Astra — двухмодульную архитектуру для автономной навигации роботов
ByteDance
ByteDance разработала Astra — инновационную архитектуру с двумя подмоделями (Astra-Global и Astra-Local), предназначенную для преодоления ограничений традиционных систем навигации мобильных роботов в сложных indoor-средах. Astra использует парадигму System 1/System 2, где глобальная модель отвечает за локализацию, а локальная — за планирование пути и одометрию.
ByteDance представила Astra — новую архитектуру для навигации мобильных роботов, решающую проблемы традиционных систем, состоящих из множества мелких правиловых модулей. Архитектура основана на парадигме System 1/System 2 и включает две основные модели: Astra-Global — мультимодальная большая языковая модель (MLLM), отвечающая за низкочастотные задачи (самолокализация и целевая локализация), и
Показать ещё ↓
- Сокращения
- MLLM = Multimodal Large Language Model — мультимодальная большая языковая модель
- SFT = Supervised Fine-Tuning — контролируемая донастройка
- GRPO = Group Relative Policy Optimization — групповая относительная оптимизация политики
- ViT = Vision Transformer — трансформер зрения
- ESDF = Euclidean Signed Distance Field — евклидово знаковое поле расстояний
- OOD = Out-of-Distribution — вне распределения
- VPR = Visual Place Recognition — визуальное распознавание мест
- IMU = Inertial Measurement Unit — инерциальный измерительный блок
- DoF = Degrees of Freedom — степени свободы
- SfM = Structure from Motion — структура из движения
Источник: Synced —
оригинал