Ray

Acelerando la inferencia de un modelo guardián encoder: TensorRT, Triton, vLLM, Ray Serve

El artículo compara herramientas para acelerar un modelo guardián encoder PII de cero disparos que verifica la entrada y salida de una aplicación LLM. El autor prueba TensorRT, NVIDIA Triton, vLLM, Ray Serve y un backbone Flash DeBERTa, midiendo RPS y latencia. TensorRT FP16 da un impulso del 23% sobre PyTorch FP16, pero la cuantización INT8 falla debido a operaciones personalizadas.

NVIDIA vLLM Ray