MoE op RTX 5090 blijft 1,5x achter en dat ligt niet aan routing
Een gedetailleerde benchmark op een RTX 5090 laat zien dat een Mixture-of-Experts-model (Qwen3.5-35B-A3B) slechts 41% van de geheugenbandbreedte van de GPU gebruikt, terwijl een dense model (Qwen3.5-9B) 72% behaalt. De oorzaak is onvoldoende gelezen bytes per kernel-launch, niet de expert-routing. De auteur voorspelt met hoge nauwkeurigheid de prestaties voor een ander model en over verschillende contextdieptes.
De auteur benchmarkt de RTX 5090 met llama.cpp b10326 en Q4_0 kwantisatie. Het MoE-model Qwen3.5-35B-A3B behaalt 317,45 tokens/s, gebruikmakend van slechts 41% van de geheugenbandbreedte, terwijl het dense model Qwen3.5-9B 239,62 tokens/s behaalt met 72% bandbreedtebenutting. Ze sluiten CUDA-graphs, routing en onderbenutting van de GPU uit. In plaats daarvan tonen ze via een synthetische ggml-kernel aan dat geheugenbandbreedte schaalt met het aantal gelezen bytes per kernel: kleine reads (enkele MB's) halen slechts 20-50% van de piekbandbreedte. Het MoE-model heeft veel expert-projecties die resulteren in veel kleine kernels (gemiddeld 4,6 MB per kernel), onder de drempel voor volledige bandbreedte. Het dense model leest grotere matrices (22,2 MB per kernel) en haalt daarmee 86% van de piek. De auteur voorspelt de snelheid van het dense model binnen 3,7% en de schaling van de contextdiepte binnen 2,4%, wat hun model valideert. Ze merken ook een voorlopige schalingswet op: de drempel voor 90% bandbreedte schaalt met de GPU-breedte (8x van RTX 4060 naar 5090).
Bron: Habr — хаб ИИ —
origineel