تسريع استدلال نموذج حارس الترميز: TensorRT وTriton وvLLM وRay Serve

تتناول المقالة محاولة تسريع نموذج حارس يقع بين نموذج لغوي كبير والمستخدم، للتحقق من المحتوى الخطير. النموذج هو مُشفِّر PII بالتعلم الصفري: يأخذ أنواع الكيانات كنص إدخال مع المستند، ويستخرج الكيانات ويصنف السلامة في تمريرة أمامية واحدة. نظرًا لبنية النموذج، فإنه يفرض سبعة قيود هندسية: شكل إدخال متغير، إخراج غير موتر يتطلب فك تشفير الشرائح على وحدة المعالجة المركزية، عمليات محددة مثل التجميع والتسجيل ثنائي الخطي، اهتمام غير قياسي محتمل، تكلفة الدفعة تحددها أطول عنصر، بنية تحتية للخدمة محسّنة لنماذج الانحدار الذاتي التوليدية، وأهمية زمن الاستجابة الطرفي (P95، P99) لأن الحارس يُستدعى مرتين لكل دورة حوار. قارنت التجربة خمس أدوات: وقت تشغيل TensorRT، وNVIDIA Triton، وvLLM، وRay Serve، وهيكل Flash DeBERTa، مع خطوط أساسية باستخدام LitServe. مسار وقت التشغيل مع TensorRT استخدم ملف تحميل قصير (عامل واحد، 50 مستخدمًا، 60 ثانية)، بينما مسارات الخدمة استخدمت ملفًا أطول (أربعة عمال، 100 مستخدم، 15 دقيقة)، لذا فإن الأرقام قابلة للمقارنة فقط ضمن كل مسار. يحقق متغير TensorRT FP16 معدل 130.72 طلبًا في الثانية مقابل 106.49 طلبًا في الثانية لـ PyTorch FP16، أي تحسن بنسبة 23%. فشلت محاولات تكميم INT8 بسبب عدم دعم العمليات المخصصة، مما أدى إلى معدل طلبات منخفض جدًا وزمن استجابة مرتفع.