RTX 5090 での MoE は 1.5 倍遅い、その原因はルーティングではない
RTX 5090 での詳細なベンチマークにより、Mixture-of-Experts モデル（Qwen3.5-35B-A3B）は GPU のメモリ帯域幅の 41% しか利用できず、一方で高密度モデル（Qwen3.5-9B）は 72% を達成することが明らかになりました。根本原因は、カーネル起動ごとに読み取られるバイト数が不十分なことであり、エキスパートのルーティングではありません。著者は、別のモデルとコンテキスト深さ全体に対する性能を高い精度で予測しています。
著者は、llama.cpp b10326とQ4_0量子化を用いてRTX 5090をベンチマークする。MoEモデルQwen3.5-35B-A3Bは317.45トークン/秒を達成し、メモリ帯域幅の41%しか利用していないのに対し、高密度モデルQwen3.5-9Bは239.62トークン/秒を達成し、72%を利用している。彼らはCUDAグラフ、ルーティング、GPUの未活用を除外する。代わりに、合成ggmlカーネルを用いて、メモリ帯域幅がカーネルごとに読み取られるバイト数に応じてスケーリングすることを実証する。小さな読み取り（数メガバイト）では、ピーク帯域幅の20〜50%しか達成されない。MoEモデルの多くのエキスパート射影は、多くの小さなカーネル（カーネルあたり平均4.6メガバイト）をもたらし、全帯域幅のしきい値を下回る。高密度モデルはより大きな行列（カーネルあたり22.2メガバイト）を読み取り、ピークの86%を達成する。著者は、高密度モデルの速度を3.7%以内、コンテキスト深度のスケーリングを2.4%以内で予測し、彼らのモデルを検証する。また、暫定的なスケーリング則にも言及している。90%帯域幅のしきい値は、GPUの幅に応じてスケーリングする（RTX 4060から5090で8倍）。
出典: Habr — хаб ИИ —
原文