Starten Sie einen vLLM-Server auf HF Jobs mit einem einzigen Befehl

Hugging Face (HF) hat ein neues Feature eingeführt: Sie können mit einem einzigen Befehl einen vLLM-Server auf der HF-Jobs-Plattform bereitstellen. Dafür benötigen Sie eine Zahlungsmethode, die huggingface_hub-Bibliothek in Version 1.20.0 oder höher sowie eine lokale Authentifizierung. Der Befehl `hf jobs run` verwendet das offizielle Image `vllm/vllm-openai`, gibt die GPU über `--flavor` an und macht einen Port über `--expose` verfügbar. Beispiel: `hf jobs run --flavor a10g-large --expose 8000 --timeout 2h vllm/vllm-openai:latest vllm serve Qwen/Qwen3-4B --host 0.0.0.0 --port 8000`. Nach dem Start wird eine URL bereitgestellt, über die der Server über eine OpenAI-kompatible API mit Autorisierung über ein HF-Token erreichbar ist. Anfragen können mit `curl` oder dem Python-OpenAI-Client gesendet werden. Der Zugriff auf den Endpunkt ist eingeschränkt – ein Token mit Leserechten ist erforderlich. Der Server kann mit dem Befehl `hf jobs cancel <job_id>` gestoppt werden. Für große Modelle (z. B. Qwen3.5-122B-A10B auf zwei H200-GPUs) müssen Sie eine leistungsfähigere Flavor wählen und `--tensor-parallel-size` angeben, und falls nötig, `--max-model-len` und `--max-num-seqs` reduzieren. Weitere Optionen umfassen: Starten mit einer Gradio-Oberfläche, SSH-Zugriff für Debugging sowie die Verwendung als Backend für den Codierungsagenten Pi mit aktivierter Tool-Nutzung. HF Jobs ist für Experimente und einmalige Aufgaben geeignet, während für den Produktionsbetrieb Inference Endpoints empfohlen werden.