NVIDIA NeMo AutoModel、エキスパート並列処理とDeepEPによりMoEのファインチューニングを3.7倍高速化

NVIDIA NeMo AutoModelは、NVIDIA NeMoフレームワーク内のオープンライブラリで、大規模なカスタム生成AIモデルを構築するためのものです。これは、Transformers v5をベースに、エキスパートパラレリズム（Expert Parallelism、EP）、DeepEP融合型オール・ツー・オール・ディスパッチ（fused all-to-all dispatch）、およびTransformerEngineカーネルを追加し、ネイティブのTransformers v5と比較して、MoEモデルのファインチューニングにおいて3.4～3.7倍のトレーニングスループット向上と29～32%のGPUメモリ削減を実現します。同じfrom_pretrained() APIを使用し、1行のインポート変更で利用できます。NeMoAutoModelForCausalLMはAutoModelForCausalLMをサブクラス化しており、Hugging Face TransformersとのAPI互換性を備えています。パフォーマンスの向上は、エキスパート重みをGPU間で分散することでメモリ負荷を軽減するエキスパートパラレリズム、通信と計算を融合するDeepEP、およびコア操作を高速化するTransformerEngineカーネルによるものです。ベンチマークには、NVIDIA Nemotron 3 Ultra 550B A55BのフルファインチューニングをEP=64で16ノード（128 GPU）にわたって実行し、815 TPS/GPUと58.2 GiBのピークメモリを達成した一方、Transformers v5はメモリ不足で実行できませんでした。8x H100 80GBでのシングルノードベンチマークでは、Qwen3-30B-A3Bで3.69倍の高速化（11,340 TPS/GPU対3,075 TPS/GPU）と29%のメモリ削減（48.1 GiB対68.2 GiB）、Nemotron 3 Nano 30B A3Bで3.36倍の高速化（15,421 TPS/GPU対4,583 TPS/GPU）と32%のメモリ削減（42.5 GiB対62.1 GiB）を示しました。NeMo AutoModelは、Qwen3、NVIDIA Nemotron、GPT-OSS、DeepSeek V3などの人気のあるMoEアーキテクチャ向けに手動チューニングされた実装を提供し、その他のアーキテクチャでは標準のHugging Face実装にフォールバックします。ベンチマークでは、理想的な動作点をエミュレートするためにバランス型ルーティングゲートを使用しています。エキスパートパラレリズムは分散メッシュを介して構成され、同じデバイス上でEPとデータパラレリズムを組み合わせることが可能です（例：ep=8、dp=8）。