Beschleunigung des Transformer-Trainings mit NVIDIA Transformer Engine, fusionierten Kernen, BF16, FP8 und GPU-Benchmarking
NVIDIA
Dieses Tutorial untersucht, wie die NVIDIA Transformer Engine Transformer-Workloads beschleunigt, indem sie fusionierte GPU-Kerne, BF16-Berechnung und hardwarebewusste FP8-Ausführung kombiniert. Es behandelt Installation, GPU-Erkennung, Modulüberblick, FP8-Rezeptkonfiguration, Modelltraining, Benchmarking und autoregressive Generierung.
Das Tutorial beginnt mit der Installation von NVIDIA Transformer Engine und der Initialisierung der PyTorch-Umgebung. Es erkennt die GPU-Architektur, um festzustellen, ob TE-Kernel und FP8-Tensor-Cores unterstützt werden, mit einem reinen PyTorch-Fallback für nicht unterstützte Hardware. Es werden zentrale fusionierte Komponenten wie te.Linear, te.LayerNorm, te.LayerNormLinear, te.LayerNormMLP und te.TransformerLayer untersucht. Ein FP8-Rezept mit verzögerter Skalierung wird mit Hybrid-E4M3/E5M2-Formaten und amax-Verlauf konfiguriert. Ein kompaktes GPT-ähnliches kausales Sprachmodell wird mit fusionierten te.TransformerLayer-Blöcken aufgebaut, und ein äquivalentes reines PyTorch-Modell wird zum Vergleich implementiert. Das Modell wird auf deterministischen synthetischen Sequenzen mit arithmetischen Mustern trainiert, mit bedingtem FP8-Autocast, wenn unterstützt. Benchmarks messen die durchschnittliche Schrittlatenz und den Spitzen-GPU-Speicher für BF16- und FP8-Modi. FP8-Metadaten, einschließlich Skalierungsfaktoren und amax-Verlauf, werden untersucht. Abschließend validiert eine gierige autoregressive Generierung, dass das Modell das arithmetische Muster lernt, und es werden Erweiterungen wie größere Modelle und alternative FP8-Formate vorgeschlagen.
Quelle: MarkTechPost —
Original