Hugging Face Transformers バックエンドが vLLM でネイティブパフォーマンスを達成

450以上のアーキテクチャをサポートするHugging Face Transformersライブラリは、昨年からvLLMのモデリングバックエンドとして統合されており、モデル開発者は移植を行わずにvLLM内でTransformersモデルを実行できます。この統合の最新バージョンでは、互換性のあるモデルでネイティブvLLMの推論速度を実現しています。3つのQwen3モデル（4B デンス、32B デンス、235B FP8 MoE）を対象に、TransformersバックエンドとvLLMのネイティブ実装を直接比較したベンチマークでは、全てのケースでTransformersバックエンドがネイティブのスループットに匹敵、またはそれを上回る結果を示しました。パフォーマンスの向上は、torch.fxを用いた静的解析とASTによるソースコード操作により、実行時に推論特化のレイヤーフュージョンを動的に適用することで実現されています。これらのフュージョンには、MoEモデルのエキスパート並列化のためのvLLM最適化カーネルへの演算マッピングや、テンソル並列とパイプライン並列のための並列線形レイヤーが含まれます。操作されたモデルは、torch.compileおよびCUDA Graphsと完全にコンパイル可能です。任意のHugging Faceモデルは、単一のフラグ`--model-impl transformers`で実行でき、既存の並列化オプションと組み合わせることができます。線形注意（linear attention）を持つモデルは未サポートであり、Hugging Face Hubのリポジトリからのカスタムモデルは動作しない可能性が高いです。