NVIDIA NeMo AutoModel Percepat Fine-Tuning MoE 3,7x dengan Expert Parallelism dan DeepEP

NVIDIA NeMo AutoModel adalah pustaka terbuka dalam kerangka kerja NVIDIA NeMo untuk membangun model AI generatif kustom secara massal. Pustaka ini dibangun di atas Transformers v5, menambahkan Expert Parallelism (EP), DeepEP fused all-to-all dispatch, dan kernel TransformerEngine, sehingga mencapai throughput pelatihan 3,4-3,7x lebih tinggi dan penggunaan memori GPU 29-32% lebih rendah saat fine-tuning model MoE dibandingkan dengan Transformers v5 asli, menggunakan API from_pretrained() yang sama dengan perubahan satu baris impor. NeMoAutoModelForCausalLM merupakan subkelas dari AutoModelForCausalLM, memungkinkan kompatibilitas API dengan Hugging Face Transformers. Peningkatan kinerja berasal dari Expert Parallelism yang mengurangi tekanan memori dengan mendistribusikan bobot ahli di seluruh GPU, DeepEP yang menggabungkan komunikasi dengan komputasi, dan kernel TransformerEngine yang mempercepat operasi inti. Tolok ukur mencakup fine-tuning penuh NVIDIA Nemotron 3 Ultra 550B A55B di 16 node (128 GPU) dengan EP=64 mencapai 815 TPS/GPU dan memori puncak 58,2 GiB, sementara Transformers v5 kehabisan memori. Tolok ukur node tunggal pada 8x H100 80GB untuk Qwen3-30B-A3B menunjukkan percepatan 3,69x (11.340 vs 3.075 TPS/GPU) dan pengurangan memori 29% (48,1 vs 68,2 GiB), dan untuk Nemotron 3 Nano 30B A3B menunjukkan percepatan 3,36x (15.421 vs 4.583 TPS/GPU) dan pengurangan memori 32% (42,5 vs 62,1 GiB). NeMo AutoModel menyertakan implementasi yang dioptimalkan secara manual untuk arsitektur MoE populer seperti Qwen3, NVIDIA Nemotron, GPT-OSS, dan DeepSeek V3, dengan fallback ke vanilla HF untuk yang lainnya. Pustaka ini menggunakan gerbang perutean seimbang untuk tolok ukur guna meniru titik operasi ideal. Expert Parallelism dikonfigurasi melalui mesh terdistribusi, memungkinkan EP dan paralelisme data berkomposisi pada perangkat yang sama (misalnya, ep=8, dp=8).