NVIDIA NeMo AutoModel beschleunigt MoE-Feintuning um das 3,7-Fache mit Expert Parallelism und DeepEP

NVIDIA NeMo AutoModel ist eine offene Bibliothek innerhalb des NVIDIA NeMo Frameworks zum skalierbaren Erstellen von benutzerdefinierten generativen KI-Modellen. Es basiert auf Transformers v5 und fügt Expert Parallelism (EP), DeepEP-fusionierte All-to-All-Dispatch und TransformerEngine-Kernel hinzu, wodurch eine bis zu 3,4- bis 3,7-fach höhere Trainingsdurchsatzleistung und 29-32% weniger GPU-Speicher beim Fine-Tuning von MoE-Modellen im Vergleich zu nativem Transformers v5 erreicht werden, unter Verwendung derselben from_pretrained()-API mit nur einer geänderten Importzeile. NeMoAutoModelForCausalLM ist eine Unterklasse von AutoModelForCausalLM und ermöglicht so die API-Kompatibilität mit Hugging Face Transformers. Die Leistungssteigerungen resultieren aus Expert Parallelism, der den Speicherdruck durch Verteilung der Expertengewichte über mehrere GPUs reduziert, DeepEP, das Kommunikation mit Berechnung fusioniert, und TransformerEngine-Kernel, die Kernoperationen beschleunigen. Zu den Benchmarks gehört das vollständige Fine-Tuning von NVIDIA Nemotron 3 Ultra 550B A55B über 16 Knoten (128 GPUs) mit EP=64, das 815 TPS/GPU und 58,2 GiB Spitzenspeicher erreicht, während Transformers v5 nicht genügend Speicher hatte. Einzelknoten-Benchmarks auf 8x H100 80GB für Qwen3-30B-A3B zeigten einen 3,69-fachen Geschwindigkeitszuwachs (11.340 gegenüber 3.075 TPS/GPU) und eine 29%ige Speicherreduktion (48,1 gegenüber 68,2 GiB), und für Nemotron 3 Nano 30B A3B einen 3,36-fachen Geschwindigkeitszuwachs (15.421 gegenüber 4.583 TPS/GPU) und eine 32%ige Speicherreduktion (42,5 gegenüber 62,1 GiB). NeMo AutoModel bietet handoptimierte Implementierungen für gängige MoE-Architekturen wie Qwen3, NVIDIA Nemotron, GPT-OSS und DeepSeek V3, während für andere auf das Standard-Hugging-Face zurückgegriffen wird. Für die Benchmarks wird ein Balanced-Routing-Gate verwendet, um den idealen Arbeitspunkt zu simulieren. Expert Parallelism wird über ein verteiltes Mesh konfiguriert, sodass EP und Datenparallelität auf denselben Geräten kombiniert werden können (z. B. ep=8, dp=8).