Nunchaku Lite: 4-Bit-Inferenz von Diffusionsmodellen in Diffusers

Nunchaku ist eine Quantisierungsmethode namens SVDQuant (W4A4) für Diffusionstransformatoren. Die neue Nunchaku Lite-Integration ermöglicht das direkte Laden quantisierter Prüfpunkte über from_pretrained() in Diffusers, ohne separate Engine. Die Generierungsgeschwindigkeit steigt um bis zu 1,8x, der Spitzen-VRAM-Verbrauch sinkt um bis zu 50%.

Hugging Face Baidu