Versnellen van Transformer-training met NVIDIA Transformer Engine, Gefuseerde Kernels, BF16, FP8 en GPU-benchmarking
NVIDIA
Deze tutorial onderzoekt hoe NVIDIA Transformer Engine transformer-workloads versnelt door gefuseerde GPU-kernels, BF16-berekening en hardwarebewuste FP8-uitvoering te combineren. Het behandelt installatie, GPU-detectie, modulerondleiding, FP8-receptconfiguratie, modeltraining, benchmarking en autoregressieve generatie.
De tutorial begint met het installeren van NVIDIA Transformer Engine en het initialiseren van de PyTorch-omgeving. Het detecteert de GPU-architectuur om te bepalen of TE-kernels en FP8-tensorcores worden ondersteund, met een pure PyTorch-fallback voor niet-ondersteunde hardware. Kerngefuseerde componenten zoals te.Linear, te.LayerNorm, te.LayerNormLinear, te.LayerNormMLP en te.TransformerLayer worden onderzocht. Een FP8-recept met vertraagde schaling wordt geconfigureerd met hybride E4M3/E5M2-formaten en amax-geschiedenis. Een compact GPT-achtig causaal taalmodel wordt gebouwd met behulp van gefuseerde te.TransformerLayer-blokken, en een equivalent puur PyTorch-model wordt geïmplementeerd ter vergelijking. Het model wordt getraind op deterministische synthetische reeksen met rekenkundige patronen, met conditionele FP8-autocast indien ondersteund. Benchmarking meet de gemiddelde stapvertraging en piek GPU-geheugen voor BF16- en FP8-modus. FP8-metagegevens, inclusief schaalfactoren en amax-geschiedenis, worden geïnspecteerd. Tot slot valideert een hebberige autoregressieve generatie dat het model de rekenkundige stap leert, en worden uitbreidingen zoals grotere modellen en alternatieve FP8-formaten voorgesteld.
Bron: MarkTechPost —
origineel