Ray

인코더 가드 모델 추론 가속화: TensorRT, Triton, vLLM, Ray Serve

이 기사는 LLM 앱의 입력과 출력을 검사하는 제로샷 PII 인코더 가드 모델을 가속화하기 위한 도구들을 비교합니다. 저자는 TensorRT, NVIDIA Triton, vLLM, Ray Serve, 그리고 Flash DeBERTa 백본을 테스트하며 RPS와 지연 시간을 측정합니다. TensorRT FP16은 PyTorch FP16 대비 23% 향상을 보여주지만, INT8 양자화는 사용자 정의 연산으로 인해 실패합니다.

NVIDIA vLLM Ray