Nunchaku Lite: Inferencia de modelos de difusión en 4 bits en Diffusers

Nunchaku es un método de cuantización SVDQuant (W4A4) para transformers de difusión. La nueva integración Nunchaku Lite permite cargar puntos de control cuantizados directamente mediante from_pretrained() en Diffusers, sin un motor separado. La velocidad de generación aumenta hasta 1.8 veces, y el consumo máximo de VRAM se reduce hasta un 50%.

Hugging Face Baidu