NVIDIA выпускает Cosmos 3 Edge — компактную модель мира для роботов и ИИ на граничных устройствах

NVIDIA выпустила на Hugging Face модель Cosmos 3 Edge с 4 миллиардами параметров, предназначенную для работы на граничных устройствах — в фабриках, складах, больницах. Модель помогает роботам и агентам компьютерного зрения понимать окружение, рассуждать в реальном времени и генерировать действия. Она эффективно использует память и обеспечивает высокую пропускную способность при инференсе на устройствах NVIDIA: RTX PRO GPU, DGX, GeForce RTX GPU, Jetson (включая новые T2000 и T3000). Cosmos 3 Edge — это компактная модель, сочетающая возможности малой языковой модели и модели действий. Она занимает первое место среди моделей размером 4B на бенчмарке VANTAGE-Bench по анализу видео и устанавливает новый стандарт для обучения политик роботов. Архитектура включает два трансформерных модуля — авторегрессивный для понимания и диффузионный для генерации, с общей мультимодальной кросс-внимательностью. Действия представлены компактными геометрическими векторами, что позволяет модели связывать изменения пикселей с физическим движением. В режиме политики модель предсказывает действие вместе с ожидаемым визуальным результатом. Также выпущены чекпойнты и скрипты для дообучения, в том числе Cosmos 3 Edge Policy на датасете DROID, а также Cosmos 3 Super 4-Step Distillation для ускоренной генерации изображений и видео в 25 раз. Разработчики могут дообучать модель на кластере H100 или NVIDIA DGX Station.