MoE auf RTX 5090 bleibt 1,5-fach hinter Erwartungen zurück – und das liegt nicht am Routing
Ein detaillierter Benchmark auf einer RTX 5090 zeigt, dass ein Mixture-of-Experts-Modell (Qwen3.5-35B-A3B) nur 41 % der Speicherbandbreite der GPU nutzt, während ein dichtes Modell (Qwen3.5-9B) 72 % erreicht. Die Ursache liegt in unzureichenden gelesenen Bytes pro Kernel-Aufruf, nicht im Expert-Routing. Der Autor sagt die Leistung für ein weiteres Modell und über Kontexttiefen hinweg mit hoher Genauigkeit voraus.
Der Autor bewertet die RTX 5090 mit llama.cpp b10326 und Q4_0-Quantisierung. Das MoE-Modell Qwen3.5-35B-A3B erreicht 317,45 Tokens pro Sekunde und nutzt dabei nur 41 % der Speicherbandbreite, während das dichte Modell Qwen3.5-9B 239,62 Tokens pro Sekunde erreicht und 72 % ausnutzt. Sie schließen CUDA-Graphen, Routing und eine Unterauslastung der GPU aus. Stattdessen zeigen sie anhand eines synthetischen ggml-Kernels, dass die Speicherbandbreite mit den gelesenen Bytes pro Kernel skaliert: Bei kleinen Lesezugriffen (einige Megabyte) werden nur 20 bis 50 % der Spitzenbandbreite erreicht. Das MoE-Modell führt aufgrund vieler Experten-Projektionen zu vielen kleinen Kernen (durchschnittlich 4,6 MB pro Kernel), die unter der Schwelle für volle Bandbreite liegen. Das dichte Modell liest größere Matrizen (22,2 MB pro Kernel) und erreicht damit 86 % der Spitzenleistung. Der Autor sagt die Geschwindigkeit des dichten Modells innerhalb von 3,7 % und die Skalierung der Kontexttiefe innerhalb von 2,4 % voraus, was ihr Modell validiert. Sie stellen auch ein vorläufiges Skalierungsgesetz fest: Die Schwelle für 90 % Bandbreite skaliert mit der GPU-Breite (8-fach von RTX 4060 auf 5090).
Quelle: Habr — хаб ИИ —
Original