Mini-PC mit Strix Halo unter paralleler Last: 236 tok/s bei 32 gleichzeitigen Anfragen und drei Fehlern
Google/DeepMind
Ein Beelink GTR9 Pro mit Ryzen AI Max+ 395 erreichte in kurzen Läufen 236 tok/s aggregiert bei 32 gleichzeitigen Anfragen und hielt über 30 Minuten einen durchschnittlichen Durchsatz von 226 tok/s ohne Throttling. Der Autor entdeckte einen reproduzierbaren Durchsatzabfall zwischen 8 und 10 gleichzeitigen Clients über alle getesteten Modelle hinweg und stellte fest, dass spekulative Dekodierung (MTP) die Einzelclient-Leistung um 42 % steigerte, sich aber bei Parallelität nachteilig auswirkte.
Beim Testen eines Beelink GTR9 Pro (Ryzen AI Max+ 395, Radeon 8060S, 128 GB Unified Memory) mit llama.cpp über Vulkan/RADV führte der Autor parallele Inferenz-Benchmarks durch. Qwen 3.6 35B-A3B in Q4_K_M zeigte ein Durchsatz-Tal von 149 tok/s bei 8 Clients auf 99 bei 10, das sich bei 32 Clients auf 160 tok/s erholte. Dieses Tal war bei allen getesteten Modellen reproduzierbar (Qwen in drei Quantisierungen und Gemma 4 26B in QAT) und konnte nicht auf ein einzelnes Modell oder eine Quantisierung zurückgeführt werden. Der beste aggregierte Wert war 236 tok/s mit Gemma 4 bei 32 Clients (Median aus 75-Sekunden-Läufen). Ein 30-minütiger Ausdauertest ergab durchschnittlich 226,4 tok/s bei stabilen Temperaturen (78°C) und Leistungsaufnahme (113 W), mit 1,4% Fehlern durch fehlende Server-Timing-Daten. Spekulatives Decoding (MTP) steigerte die Einzelclient-Geschwindigkeit um 42% (53,3→75,6 tok/s), beeinträchtigte aber die Gleichzeitigkeit: bei 4 Clients sank sie um 31%, bei 32 Clients um 33%. Der Autor merkt an, dass vor der Veröffentlichung durch Kontrollmessungen drei Fehler entdeckt wurden.
Quelle: Habr — хаб NLP —
Original