локальный сервер инференса, совместимый с OpenAI. Предоставляется Python-клиент для взаимодействия с сервером, поддерживающий стандартные завершения, потоковую передачу, многоходовые диалоги и генерацию кода. Опциональные конфигурации включают инференс с длинным контекстом, 4-битное кэширование ключей и значений, спекулятивное декодирование с драфтером DSpark и поддержку зрения. В руководстве также отмечается доступность тернарного варианта для более высокого качества.