بطاقة RTX 5090 واحدة، وأسعار تتراوح من 1 روبل إلى 20,726 روبل لكل مليون توكن، ولماذا تظل واجهة برمجة التطبيقات أرخص

يتناول المؤلف، وهو مدير تقني للتعلم الآلي، النقاش المتكرر حول شراء وحدة معالجة رسومية لاستضافة النماذج محليًا مقابل الدفع مقابل واجهات برمجة التطبيقات السحابية. ويحسب تكلفة تشغيل بطاقة RTX 5090 (سعة 32 جيجابايت) في روسيا، بما في ذلك الاستهلاك والكهرباء وتكاليف النظام، ليصل إلى حوالي 17 روبلًا للساعة أو 12,435 روبلًا شهريًا للتشغيل على مدار الساعة. ويوضح المقال أن السعر لكل مليون رمز على نفس البطاقة يتفاوت بشكل كبير من 1 روبل إلى 20,726 روبلًا اعتمادًا على النموذج وعبء العمل. ويقارن بين وحدات معالجة رسومية مختلفة حسب السعر لكل جيجابايت من ذاكرة الوصول العشوائي للفيديو، مشيرًا إلى أن RTX 3090 أرخص بكثير لكل جيجابايت، ويناقش تكوينات وحدات المعالجة الرسومية المتعددة، والتي غالبًا ما تكون غير فعالة بسبب اختناقات ناقل PCIe. تظهر القياسات الرئيسية للأداء في المكتبة llama.cpp سرعات توليد رموز تتراوح من 61 إلى 234 رمزًا في الثانية لنماذج مختلفة، بينما يمكن لـ vLLM مع التجميع المستمر (continuous batching) على بطاقة 5090 واحدة تحقيق إجمالي حوالي 4,570 رمزًا في الثانية عبر مئات الطلبات المتزامنة. وعلى الرغم من ذلك، فإن نقطة التعادل مقابل سبع خدمات واجهة برمجة تطبيقات عالية، وغالبًا ما تتجاوز الاستخدام الشهري الواقعي للرموز، مما يدفع المؤلف إلى استنتاج أن واجهات برمجة التطبيقات عادةً ما تكون أكثر فعالية من حيث التكلفة لمعظم الفرق.