DeepSeek 0731 على DGX Spark: رفع التردد إلى 68 رمزًا في الثانية ولماذا حصل مؤلف البطاقة على 57
DeepSeek
NVIDIA
vLLM
يقوم مطور باختبار أداء DeepSeek-V4-Flash على إعداد DGX Spark مزدوج من NVIDIA، حيث يقيس في البداية 42.5 رمزًا في الثانية مقارنة بـ 57 رمزًا في الثانية الذي تم التصريح به على بطاقة النموذج. بعد تغيير صورة وقت التشغيل vLLM وتمكين الخلفية B12X MoE بشكل صريح، حققوا 67.6 رمزًا في الثانية على الملف الشخصي الشبيه بالبطاقة، ويعزون التحسينات إلى تغييرات تكوين محددة.
قام المؤلف بنشر DeepSeek-V4-Flash على عقدتين من نوع DGX Spark متصلتين عبر QSFP 200G مع RoCEv2، باستخدام التوازي عبر الموترات بين العقد. أظهرت القياسات الأولية سرعة 42.5 رمزًا في الثانية، أي أقل بنحو 25% من 57 رمزًا في الثانية التي أُعلنت على بطاقة النموذج. بعد اختبار عدة فرضيات (درجة الحرارة، حساب التمهيد، طول السياق)، عُزيت الفروقات الرئيسية إلى صورة وقت التشغيل: الانتقال من بناء يعتمد على vLLM 0.21.1 إلى بناء يعتمد على vLLM 0.25.2 أعطى زيادة بنسبة 22% على نفس نقطة التحقق، مما رفع الرموز المولدة لكل خطوة تحقق من 3.27 إلى 4.80. كما جاءت مكاسب إضافية من ضبط خيار --moe-backend flashinfer_b12x بشكل صريح، نظرًا لأن B12X يُستبعد من الاختيار التلقائي في الصورة المخصصة؛ وقد أضاف هذا زيادة بنسبة 13.3% في المتوسط على ملف تعريف يشبه البطاقات (من 59.7 إلى 67.6 رمزًا في الثانية). ويشير المؤلف أيضًا إلى إصدار جديد لنقطة التحقق (0731) مع معايير وكيل محسّنة، ويعترف بعمل موازٍ قام به tonyd2wild حول تحسينات مماثلة.
المصدر: Habr — хаб ИИ —
الأصلي
