グローバルバッチ負荷分散：MoE LLM学習を向上させるほぼフリーランチ

Mixture-of-Experts (MoE) アーキテクチャはモデルパラメータをスケーリングするための一般的な手法ですが、既存のトレーニングフレームワーク（例えば Megatron-core）はマイクロバッチレベルの負荷分散損失を使用しており、マイクロバッチに均質なデータ（例えばコードのみ）が含まれる場合に性能が低下する可能性があります。Alibaba Qwen はグローバルバッチ平衡損失を導入し、すべての並列グループ間でエキスパート選択頻度を同期させ、損失をグローバルに計算します。3つの MoE 構成（活性化パラメータ 3.4B/0.6B、15B/2.54B、43B/6.6B）と最大 400B トークンでの実験により、グローバルバッチ平衡は様々なタスクでマイクロバッチ平衡よりも一貫して優れていることが示されました。また、グローバルバッチ平衡はエキスパートの顕著なドメイン特化をもたらしますが、これはマイクロバッチ平衡モデルでは見られません。グローバル損失に小さなマイクロバッチ平衡損失（重み 0.01）を追加することで、有効性に影響を与えずにトレーニング速度が向上します。この手法はほぼ無料であり、同期にはエキスパート数に等しいサイズのベクトルのみが必要です。この研究は arXiv プレプリント 2501.11873 として公開されています。