DeepSeek 0731 auf DGX Spark: Übertakten auf 68 Token pro Sekunde und warum der Kartenautor 57 erreichte

Der Autor setzte DeepSeek-V4-Flash auf zwei DGX-Spark-Knoten ein, die über QSFP 200G mit RoCEv2 verbunden waren, und nutzte Tensor-Parallelismus über die Knoten hinweg. Erste Messungen ergaben 42,5 Tokens pro Sekunde, etwa 25 Prozent unter den auf der Modellkarte angegebenen 57 Tokens pro Sekunde. Nachdem mehrere Hypothesen getestet wurden (Temperatur, Prefill-Berechnung, Kontextlänge), wurde der Hauptunterschied dem Laufzeit-Image zugeschrieben: Der Wechsel von einem Build auf Basis von vLLM 0.21.1 zu einem mit vLLM 0.25.2 ergab eine Steigerung von 22 Prozent bei demselben Checkpoint und erhöhte die Ausgabetokens pro Verifikationsschritt von 3,27 auf 4,80. Weitere Verbesserungen ergaben sich durch das explizite Setzen von `--moe-backend flashinfer_b12x`, da im benutzerdefinierten Image B12X von der automatischen Auswahl ausgeschlossen ist; dies führte zu einer durchschnittlichen Steigerung von 13,3 Prozent bei einem kartenähnlichen Profil (von 59,7 auf 67,6 Tokens pro Sekunde). Der Autor weist auch auf eine neue Checkpoint-Version (0731) mit verbesserten Agent-Benchmarks hin und würdigt die parallele Arbeit von tonyd2wild an ähnlichen Optimierungen.