Mempercepat Inferensi Model Penjaga Encoder: TensorRT, Triton, vLLM, Ray Serve

Artikel ini menjelaskan upaya untuk mempercepat model penjaga yang berada di antara LLM dan pengguna, memeriksa konten berbahaya. Model ini adalah encoder PII zero-shot: model ini menerima tipe entitas sebagai input teks beserta dokumen, mengekstrak entitas, dan mengklasifikasikan keamanan dalam satu proses maju. Karena arsitekturnya, model ini menimbulkan tujuh kendala rekayasa: bentuk input yang bervariasi, output non-tensor yang memerlukan decoding rentang CPU, operasi spesifik seperti gather dan penilaian bilinear, potensi perhatian non-standar, biaya batch yang ditentukan oleh elemen terpanjang, infrastruktur layanan yang dioptimalkan untuk LLM autoregresif, dan pentingnya latensi ekor (P95, P99) karena penjaga dipanggil dua kali per giliran dialog. Eksperimen membandingkan lima alat: runtime TensorRT, NVIDIA Triton, vLLM, Ray Serve, dan backbone Flash DeBERTa, dengan baseline menggunakan LitServe. Trek runtime dengan TensorRT menggunakan profil beban pendek (satu pekerja, 50 pengguna, 60 detik), sedangkan trek layanan menggunakan profil yang lebih panjang (empat pekerja, 100 pengguna, 15 menit), sehingga angka hanya dapat dibandingkan dalam trek yang sama. Varian TensorRT FP16 mencapai 130,72 RPS versus 106,49 RPS untuk PyTorch FP16, peningkatan 23%. Upaya kuantisasi INT8 gagal karena kurangnya dukungan untuk operasi kustom, menghasilkan RPS yang sangat rendah dan latensi tinggi.