NVIDIA NeMo AutoModel tăng tốc tinh chỉnh MoE lên 3,7 lần với Expert Parallelism và DeepEP

NVIDIA NeMo AutoModel là một thư viện mã nguồn mở trong framework NVIDIA NeMo, được thiết kế để xây dựng các mô hình AI tạo sinh tùy chỉnh ở quy mô lớn. Thư viện này được xây dựng dựa trên Transformers v5, bổ sung Expert Parallelism (song song chuyên gia, EP), DeepEP (giao tiếp tập trung tất-cả-đến-tất-cả được hợp nhất) và các kernel của TransformerEngine, đạt được thông lượng huấn luyện cao hơn 3,4-3,7 lần và giảm 29-32% bộ nhớ GPU khi tinh chỉnh các mô hình MoE so với Transformers v5 gốc, sử dụng cùng API from_pretrained() chỉ với một thay đổi duy nhất trong dòng import. NeMoAutoModelForCausalLM kế thừa từ AutoModelForCausalLM, đảm bảo tương thích API với Hugging Face Transformers. Hiệu năng vượt trội đến từ Expert Parallelism giảm áp lực bộ nhớ bằng cách phân phối trọng số chuyên gia trên nhiều GPU, DeepEP hợp nhất giao tiếp với tính toán, và các kernel TransformerEngine tăng tốc các hoạt động cốt lõi. Các điểm chuẩn bao gồm tinh chỉnh toàn bộ mô hình NVIDIA Nemotron 3 Ultra 550B A55B trên 16 nút (128 GPU) với EP=64 đạt 815 TPS/GPU và bộ nhớ đỉnh 58,2 GiB, trong khi Transformers v5 bị hết bộ nhớ. Điểm chuẩn trên một nút với 8x H100 80GB cho Qwen3-30B-A3B cho thấy tốc độ tăng 3,69 lần (11.340 so với 3.075 TPS/GPU) và giảm 29% bộ nhớ (48,1 so với 68,2 GiB), và cho Nemotron 3 Nano 30B A3B cho thấy tốc độ tăng 3,36 lần (15.421 so với 4.583 TPS/GPU) và giảm 32% bộ nhớ (42,5 so với 62,1 GiB). NeMo AutoModel cung cấp các triển khai được tinh chỉnh thủ công cho các kiến trúc MoE phổ biến như Qwen3, NVIDIA Nemotron, GPT-OSS và DeepSeek V3, đồng thời sử dụng phương thức dự phòng của vanilla HF cho các kiến trúc khác. Nó sử dụng cổng định tuyến cân bằng (balanced routing gate) cho các điểm chuẩn nhằm mô phỏng điểm vận hành lý tưởng. Expert Parallelism được cấu hình thông qua lưới phân tán (distributed mesh), cho phép EP và song song dữ liệu (data parallelism) kết hợp trên cùng một thiết bị (ví dụ: ep=8, dp=8).