Nunchaku Lite bringt 4-Bit-Diffusionsinferenz zu Diffusers
Hugging Face
Baidu
Nunchaku Lite, eine neue Integration in Hugging Face Diffusers, ermöglicht das Laden von 4-Bit-quantisierten Diffusionsmodellen mit einem einfachen from_pretrained()-Aufruf, ohne benutzerdefinierte Pipelines oder lokale CUDA-Kompilierung. Es reduziert den VRAM um bis zu 50 % und beschleunigt die Inferenz um etwa das 1,35-fache, mit weiteren Verbesserungen durch torch.compile.
Nunchaku Lite ist ein neuer Integrationspfad in Hugging Face Diffusers, der 4-Bit-Inferenz für Diffusionsmodelle ermöglicht. Er basiert auf der SVDQuant-Quantisierungsmethode, die hinter der beliebten Nunchaku-Inferenz-Engine steckt. Im Gegensatz zur standardmäßigen Gewichtequantisierung führt SVDQuant die Haupttransformer-Schichten mit 4-Bit-Gewichten und -Aktivierungen (W4A4) aus, was den Speicher reduziert und den Denoising-Durchlauf beschleunigt. Mit Nunchaku Lite ist das Laden eines quantisierten Checkpoints so einfach wie der Aufruf von from_pretrained() – ohne lokale CUDA-Kompilierung, dank des Hugging Face Kernels Packages. Es werden zwei Kernel-Familien verwendet: svdq_w4a4 für Attention- und MLP-Projektionen (verfügbar in INT4- und NVFP4-Varianten) sowie awq_w4a16 für Normalisierungsschichten. NVFP4-Checkpoints erfordern eine NVIDIA Blackwell GPU (RTX 50-Serie, RTX PRO 6000, B200), während INT4-Varianten Turing/Ampere/Ada GPUs (RTX 30- und 40-Serie, A100, L40S) unterstützen. Benchmarks auf einer RTX PRO 6000 zeigen eine 1,35-fache Beschleunigung und eine VRAM-Reduktion um bis zu 50 % im Vergleich zur BF16-Baseline; in Kombination mit torch.compile ergibt sich eine 1,8-fache Beschleunigung. Das begleitende Toolkit diffuse-compressor ermöglicht es Nutzern, ihre eigenen Modelle zu quantisieren und als reguläre Diffusers-Repositories zu veröffentlichen.
Quelle: Hugging Face blog —
Original