Open Dreamer: открытая реализация пайплайна Dreamer 4 на JAX/Flax с полным рецептом обучения
Команда исследователей ИИ выпустила Open Dreamer — открытую реализацию пайплайна модели мира Dreamer 4, построенную на JAX и Flax NNX. Проект включает обучающий пайплайн, локальный движок для инференса и браузерную демонстрацию, генерирующую мир Minecraft в реальном времени. Модель использует блок-причинный трансформерный бэкбон, достигает 57–58% использования FLOPs, и команда подчеркивает, что главной проблемой была стабильность, а не пропускная способность.
Исследователи Франческо Сакко, Диего Марти и Эдвард Ху при поддержке Reactor выпустили Open Dreamer — открытую реализацию Dreamer 4 на JAX/Flax NNX. Были опубликованы два репозитория: один для обучения (токенизатор, модель динамики, развертывание, оценка FVD) и один для локального вывода. Демо-версия в браузере транслирует сгенерированный мир Minecraft и позволяет переключаться между реальной
Показать ещё ↓
Источник: MarkTechPost —
оригинал