Представлен Open Dreamer: открытая реализация пайплайна Dreamer 4 на JAX/Flax с полным рецептом обучения
Группа исследователей ИИ Reactor выпустила Open Dreamer — открытую реализацию пайплайна модели мира Dreamer 4, написанную на JAX и Flax NNX. В репозиториях опубликованы код тренировочного пайплайна (видеотокенизатор, латентная динамическая модель, генерация траекторий и оценка FVD) и дополнительные компоненты.
Небольшая группа исследователей ИИ под именем Reactor выпустила Open Dreamer — открытую реализацию пайплайна модели мира Dreamer 4, написанную на JAX и Flax NNX. Было опубликовано два репозитория. Репозиторий next-state/open-dreamer содержит тренировочный пайплайн: каузальный видеотокенизатор, модель латентной динамики с учётом действий, генерацию траекторий и оценку FVD. Второй репозиторий
Показать ещё ↓
- Сокращения
- FVD = Fréchet Video Distance — расстояние Фреше для видео
- JAX = JAX (Just After eXecution) — JAX (библиотека для численных вычислений)
- Flax NNX = Flax Neural Network X — Flax NNX (нейросетевая библиотека на JAX)
Источник: MarkTechPost —
оригинал