Lancez un serveur vLLM sur les Jobs HF avec une seule commande

Hugging Face (HF) a lancé une nouvelle fonctionnalité : vous pouvez déployer un serveur vLLM sur la plateforme HF Jobs avec une seule commande. Pour cela, vous avez besoin d'un moyen de paiement, de la bibliothèque huggingface_hub version >=1.20.0 et d'une authentification locale. La commande `hf jobs run` utilise l'image officielle `vllm/vllm-openai`, spécifie le GPU via `--flavor` et expose un port via `--expose`. Par exemple : `hf jobs run --flavor a10g-large --expose 8000 --timeout 2h vllm/vllm-openai:latest vllm serve Qwen/Qwen3-4B --host 0.0.0.0 --port 8000`. Après le lancement, une URL est fournie pour accéder au serveur via une API compatible OpenAI avec une autorisation via un jeton HF. Les requêtes peuvent être envoyées en utilisant `curl` ou le client Python OpenAI. L'accès au point de terminaison est restreint — un jeton avec des permissions de lecture est requis. Le serveur peut être arrêté avec la commande `hf jobs cancel <job_id>`. Pour les grands modèles (par exemple Qwen3.5-122B-A10B sur deux GPU H200), vous devez choisir une saveur plus puissante et spécifier `--tensor-parallel-size`, et si nécessaire, réduire `--max-model-len` et `--max-num-seqs`. Des options supplémentaires incluent : le lancement avec une interface Gradio, l'accès SSH pour le débogage et l'utilisation comme backend pour l'agent de codage Pi avec l'activation des appels d'outils. HF Jobs convient aux expérimentations et aux tâches ponctuelles, tandis que les Inference Endpoints sont recommandés pour la production.