Backend Hugging Face Transformers untuk vLLM Mencapai Performa Native
Hugging Face
Integrasi Hugging Face Transformers sebagai backend pemodelan di vLLM kini menyamai atau melampaui throughput native vLLM di berbagai model Qwen3, termasuk arsitektur dense dan mixture-of-experts, tanpa memerlukan porting khusus. Hal ini dicapai melalui fusi lapisan dinamis pada waktu proses menggunakan torch.fx dan manipulasi AST, memungkinkan model yang kompatibel berjalan pada kecepatan native dengan satu bendera saja.
Pustaka Hugging Face Transformers, yang mendukung lebih dari 450 arsitektur, telah diintegrasikan sebagai backend pemodelan di vLLM sejak tahun lalu, memungkinkan penulis model untuk menjalankan model Transformers di dalam vLLM tanpa perlu memindahkan kode. Iterasi terbaru dari integrasi ini kini mencapai kecepatan inferensi asli vLLM untuk model yang kompatibel. Tolok ukur yang membandingkan backend Transformers secara langsung dengan implementasi asli vLLM pada tiga model Qwen3 (4B dense, 32B dense, dan 235B FP8 MoE) menunjukkan bahwa backend Transformers menyamai atau melampaui throughput asli dalam semua kasus. Peningkatan kinerja ini berasal dari penerapan fusi lapisan spesifik inferensi secara dinamis saat runtime, menggunakan `torch.fx` untuk analisis statis dan AST (Pohon Sintaks Abstrak) untuk manipulasi kode sumber. Fusi-fusi ini mencakup operasi yang dipetakan ke kernel vLLM yang dioptimalkan untuk paralelisasi ahli dalam model MoE, serta lapisan linier paralel untuk paralelisme tensor dan saluran pipa. Model yang dimanipulasi tetap dapat dikompilasi sepenuhnya dengan `torch.compile` dan CUDA Graphs. Model Hugging Face apa pun dapat dijalankan dengan satu tanda `--model-impl transformers`, dan ini kompatibel dengan opsi paralelisme yang ada. Model dengan perhatian linier belum didukung, dan model kustom dari repositori Hub kemungkinan besar tidak berfungsi.
Sumber: Hugging Face blog —
asli