Inicie o Servidor vLLM em Jobs do HF com Um Único Comando
A Hugging Face introduziu a capacidade de iniciar um servidor vLLM na infraestrutura de Jobs do HF com um único comando. Isso permite que os usuários implantem rapidamente um modelo para teste, avaliação ou geração em lote, usando recursos de GPU cobrados por minuto.
Hugging Face
vLLM
Hugging Face blog27.07 · 10:04
