DeepSeek 0731 на DGX Spark: разгон до 68 ток/с и почему автор карточки получил 57
Разработчик проводит бенчмарк DeepSeek-V4-Flash на двойной системе NVIDIA DGX Spark, изначально измеряя 42,5 ток/с против заявленных на карточке модели 57 ток/с. После переключения образа среды выполнения vLLM и явного включения бэкенда B12X MoE им удалось достичь 67,6 ток/с на карточном профиле, что объясняется конкретными изменениями конфигурации.
Автор развернул DeepSeek-V4-Flash на двух узлах DGX Spark, соединённых через QSFP 200G с использованием RoCEv2, применив тензорный параллелизм между узлами. Первоначальные замеры показали 42,5 ток/с, что примерно на 25% ниже заявленных 57 ток/с в карточке модели. После проверки нескольких гипотез (температура, учёт prefill, длина контекста) основное различие было отнесено к образу времени
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал