Ray

Accélérer l'inférence d'un modèle de garde encodeur : TensorRT, Triton, vLLM, Ray Serve

L'article compare les outils pour accélérer un modèle de garde encodeur PII zero-shot qui vérifie les entrées et sorties d'une application LLM. L'auteur teste TensorRT, NVIDIA Triton, vLLM, Ray Serve et un backbone Flash DeBERTa, en mesurant le RPS et la latence. TensorRT FP16 offre un gain de 23 % par rapport à PyTorch FP16, mais la quantification INT8 échoue en raison d'opérations personnalisées.

NVIDIA vLLM Ray