Ускорение обучения трансформеров с помощью NVIDIA Transformer Engine, объединённых ядер, BF16, FP8 и бенчмаркинга GPU
Это руководство исследует, как NVIDIA Transformer Engine ускоряет работу с трансформаторами, сочетая объединённые ядра GPU, вычисления в формате BF16 и аппаратно-зависимое выполнение FP8. Охватываются установка, определение GPU, обзор модулей, настройка рецептов FP8, обучение моделей, бенчмаркинг и авторегрессионная генерация.
Учебное пособие начинается с установки NVIDIA Transformer Engine и инициализации среды PyTorch. Оно определяет архитектуру графического процессора (GPU), чтобы выяснить, поддерживаются ли ядра TE и тензорные ядра FP8, с чисто PyTorch-запасным вариантом для неподдерживаемого оборудования. Рассматриваются основные объединенные компоненты, такие как te.Linear, te.LayerNorm, te.LayerNormLinear,
Показать ещё ↓
Источник: MarkTechPost —
оригинал