входных данных, нетензорный выход, требующий декодирования спанов на CPU, специфические операции, такие как gather и билинейное скорингование, потенциально нестандартное внимание, стоимость пакета, определяемая самым длинным элементом, инфраструктура обслуживания, оптимизированная для авторегрессионных LLM, и важность хвостовой задержки (P95, P99), поскольку guard вызывается дважды за оборот диалога. Эксперимент сравнивает пять инструментов: TensorRT runtime, NVIDIA Triton, vLLM, Ray Serve и Flash DeBERTa backbone, с базовыми показателями с использованием LitServe. Трасса времени выполнения с TensorRT использовала короткий профиль нагрузки (один воркер, 50 пользователей, 60 секунд), в то время как трассы обслуживания использовали более длинный профиль (четыре воркера, 100 пользователей, 15 минут), поэтому числа сопоставимы только в пределах каждой трассы. Вариант TensorRT FP16 достигает 130,72 RPS против 106,49 RPS для PyTorch FP16, что на 23% лучше. Попытки квантования INT8 не удались из-за отсутствия поддержки пользовательских операций, что привело к очень низкому RPS и высокой задержке.