Запуск сервера vLLM на HF Jobs одной командой
Hugging Face представила возможность запускать сервер vLLM на инфраструктуре HF Jobs одной командой. Это позволяет быстро развернуть модель для тестов, оценок или пакетной генерации, используя GPU по минутам.
Hugging Face (HF) запустил новую функцию: можно развернуть vLLM-сервер на платформе HF Jobs одной командой. Для этого нужен способ оплаты, библиотека huggingface_hub версии не ниже 1.20.0 и локальная аутентификация. Команда `hf jobs run` использует официальный образ `vllm/vllm-openai`, указывает графический процессор через `--flavor` и открывает порт через `--expose`. Например: `hf jobs run
Показать ещё ↓
Источник: Hugging Face blog —
оригинал