Nunchaku Lite: 4-Bit-Inferenz von Diffusionsmodellen in Diffusers

Im Hugging Face Blog wurde die Integration der Quantisierungsmethode Nunchaku (basiert auf SVDQuant) in die Diffusers-Bibliothek angekündigt. SVDQuant arbeitet mit 4-Bit-Gewichten und -Aktivierungen (W4A4) und behandelt Ausreißer, indem es sie in die Gewichte verschiebt und einen kleinen 16-Bit-Niedrigrang-Zweig beibehält. Die ursprüngliche Nunchaku-Engine erforderte separate Integrationen für jede Architektur. Nunchaku Lite behebt dieses Problem, indem es nn.Linear-Module des Diffusionsmodells durch spezielle lineare Schichten mit CUDA-Kernen ersetzt (svdq_w4a4 für die Hauptberechnungen und awq_w4a16 für Normalisierungsschichten). Der Checkpoint wird mit dem Standardaufruf from_pretrained() geladen, und die Quantisierungskonfiguration wird in der config.json des Modells gespeichert. Nunchaku Lite bietet eine Geschwindigkeitssteigerung von etwa 30% und eine Reduzierung des VRAM um bis zu 50% im Vergleich zu BF16. Mit torch.compile wird eine Beschleunigung von bis zu 1,8x erreicht. Die Methode unterstützt Blackwell GPUs (NVFP4) sowie Turing-, Ampere- und Ada-GPUs (INT4). Zur Quantisierung eigener Modelle wird das Toolkit diffuse-compressor angeboten, das Quantisierungsziele automatisch erkennt und das Ergebnis im Diffusers-Format verpackt.